Hadoop3教程（十八）：MapReduce之MapJoin案例分析

（118）MapJoin案例需求分析

ReduceJoin的问题

在ReduceJoin中，合并的操作是在Reduce阶段进行的，所以相比Map阶段，Reduce阶段的处理压力过大。另外，相同的产品ID的数据会进入同一个Reducer中，如果这个产品ID下数据过多，其他产品ID的数据很少，那么会导致前面那个Reducer压力过大，这就是数据倾斜问题。

如何解决ReduceJoin的问题

那如何解决这种问题呢？

比较好的方法是不使用ReduceJoin，使用MapJoin，即在Map阶段实现拼接。

思路简单来说，就是将产品码表放进内存，orders.txt正常切片进入mapper，然后mapper处理的时候，就逐行对orders.txt里的数据进行产品码值的替换。

基于这种方式，MapJoin的适用场景也就很明显了，MapJoin适用于一张或多张表特别小（不能把内存撑爆了），一张表特别大的场景。

如何将一个文件主动缓存到集群的内存里

那问题来了，在Hadoop里怎么把一张表主动缓存到内存当中，且还能在map()里调用呢？

首先我们需要在驱动类里，指定将文件加载到缓存：

//缓存普通文件到Task运行节点。
job.addCacheFile(new URI("file:///e:/cache/pd.txt"));
//如果是集群运行,需要设置HDFS路径
job.addCacheFile(new URI("hdfs://hadoop102:8020/cache/pd.txt"));

// MapJoin的话就不需要Reduce阶段了
job.setNumReduceTasks(0);

然后在自定义Mapper类的setup()里，按以下流程编写代码，以读取缓存的文件数据：

//1. 获取缓存的文件；
// 2.循环读取缓存文件中每一行；
// 3. 切割；
// 4. 缓存数据到集合；

setup()执行完成后，才会执行map()。

所以我们最后在map()里，获取一行后，截取到pid，从内存中码表拿到产品中文名，拼接给出就可以。

（119）MapJoin案例代码实现

过了一遍教程，其实就是对上一小节的代码实现。

总的来说，就是只有一个Map阶段，在Map阶段中，在map()处理之前，先把码表读进内存中，然后map()在一行一行读取后，直接使用内存中的码表对指定字段进行替换即可。

对我来讲用处不大，所以这里直接跳过，但还是补充一下代码：

在MapJoinDriver驱动类中添加缓存文件:

package com.atguigu.mapreduce.mapjoin;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class MapJoinDriver {

    public static void main(String[] args) throws IOException, URISyntaxException, ClassNotFoundException, InterruptedException {

        // 1 获取job信息
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);
        // 2 设置加载jar包路径
        job.setJarByClass(MapJoinDriver.class);
        // 3 关联mapper
        job.setMapperClass(MapJoinMapper.class);
        // 4 设置Map输出KV类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);
        // 5 设置最终输出KV类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

        // 加载缓存数据
        job.addCacheFile(new URI("file:///D:/input/tablecache/pd.txt"));
        // Map端Join的逻辑不需要Reduce阶段，设置reduceTask数量为0
        job.setNumReduceTasks(0);

        // 6 设置输入输出路径
        FileInputFormat.setInputPaths(job, new Path("D:\\input"));
        FileOutputFormat.setOutputPath(job, new Path("D:\\output"));
        // 7 提交
        boolean b = job.waitForCompletion(true);
        System.exit(b ? 0 : 1);
    }
}

在MapJoinMapper类中的setup方法中读取缓存文件，并在map()里进行替换:

package com.atguigu.mapreduce.mapjoin;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.util.HashMap;
import java.util.Map;

public class MapJoinMapper extends Mapper<LongWritable, Text, Text, NullWritable> {

    private Map<String, String> pdMap = new HashMap<>();
    private Text text = new Text();

    //任务开始前将pd数据缓存进pdMap
    @Override
    protected void setup(Context context) throws IOException, InterruptedException {

        //通过缓存文件得到小表数据pd.txt
        URI[] cacheFiles = context.getCacheFiles();
        Path path = new Path(cacheFiles[0]);

        //获取文件系统对象,并开流
        FileSystem fs = FileSystem.get(context.getConfiguration());
        FSDataInputStream fis = fs.open(path);

        //通过包装流转换为reader,方便按行读取
        BufferedReader reader = new BufferedReader(new InputStreamReader(fis, "UTF-8"));

        //逐行读取，按行处理
        String line;
        while (StringUtils.isNotEmpty(line = reader.readLine())) {
            //切割一行    
//01	小米
            String[] split = line.split("\t");
            pdMap.put(split[0], split[1]);
        }

        //关流
        IOUtils.closeStream(reader);
    }

    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {

        //读取大表数据    
//1001	01	1
        String[] fields = value.toString().split("\t");

        //通过大表每行数据的pid,去pdMap里面取出pname
        String pname = pdMap.get(fields[1]);

        //将大表每行数据的pid替换为pname
        text.set(fields[0] + "\t" + pname + "\t" + fields[2]);

        //写出
        context.write(text,NullWritable.get());
    }
}

参考文献

1. 【尚硅谷大数据Hadoop教程，hadoop3.x搭建到集群调优，百万播放】