用MapReduce实现2个表的join连接与查询

大数据与云计算开发者Cd

于 2021-11-05 09:20:06 发布

阅读量2.2k

点赞数

文章标签： mapreduce big data 大数据

本文链接：https://blog.csdn.net/qq_56795768/article/details/121155923

版权

本文介绍了如何利用MapReduce实现两个CSV表的join操作。首先介绍所涉及的两个表单，分别是customer和order。接着详细阐述了实现过程，包括创建实体类CustomerOrder，定义相关变量，然后编写JoinMapper类来重载关键方法。在Reducer阶段，通过JoinReducer类进行数据聚合。最后是JoinDriver驱动类的编写，用于整个流程的启动。

摘要由CSDN通过智能技术生成

首先准备两个CVS表单

我第一个表单为customer

第二个表单为order

接着实现2表连接查询

首先写一个实体类CustomerOrder。定义变量

package cn.kgc.kb15.demo05;

import org.apache.hadoop.io.WritableComparable;

import javax.xml.crypto.Data;
import java.io.DataInput;
import java.io.DataOutput;
import java.io.IOException;

//这里实现WritableComparable接口，并且重载方法
public class CustomerOrder implements WritableComparable<CustomerOrder> {
    private Integer customerId;
    private String customerName;
    private Integer orderId;
    private String orderStatus;
    private String flag;//订单日期作为区别是订单表还是顾客表

//下面实现get，set方法。tostring方法，构造方法
    @Override
    public String toString() {
        return "CustomerOrder{" +
                "customerId=" + customerId +
                ", customerName='" + customerName + '\'' +
                ", orderId=" + orderId +
                ", orderStatus='" + orderStatus + '\'' +
                ", flag='" + flag + '\'' +
                '}';
    }

    public Integer getCustomerId() {
        return customerId;
    }

    public void setCustomerId(Integer customerId) {
        this.customerId = customerId;
    }

    public String getCustomerName() {
        return customerName;
    }

    public void setCustomerName(String customerName) {
        this.customerName = customerName;
    }

    public Integer getOrderId() {
        return orderI