map join解决数据倾斜

订单数据表 order.txt

id	date	pid	amount
1001	20150710	P0001	2
1002	20150710	P0001	3
1002	20150710	P0001	3

商品信息表 product.txt

id	pname	category_id	price
P0001	小米5	1001	2
P0002	锤子T1	1000	3
P0003	锤子	1002	3

小表转动大表想比较于订单，商品信息表较小

采用直接在map端join，避免在reduce阶段数据倾斜

maptask任务在运行时可以加载，其分布式缓存中的文件，即其工作目录中的文件

//  将产品信息表放到每个maptask工作目录
job.addCacheFile(new URI("/home/lzq/product.txt"));

这样每个maptask都能够读取到此文件

大概流程， 提前实例化Text等     分区排序   提前在初始化时读取缓存中的文件，放入一个hashmap中键值对，然后再读取需处理的文件，根据键值对取出对应值拼接

一个原则 map 处理一行文件 toString() split 切片提取 或自定义bean，输出

reduce 处理同一组key相同的值

package com.zz.bd;

import org.apache.commons.lang.StringUtils;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;

import java.io.BufferedReader;
import java.io.FileInputStream;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.HashMap;
import java.util.Map;

public class mapjoin {
    static class mapp extends Mapper<LongWritable, Text, Text, NullWritable> {
        //用一个hashmap加载保存信息表
        Map<String, String> pdInfoMap = new HashMap<String, String>();
        Text text = new Text();

        //  Mapper源码 Mapper类运行的时候，先运行setup方法，再循环调用map方法，最后是cleanup
        //可以用来做初始化操作，如加载cache中
        @Override
        protected void setup(Context context) throws IOException, InterruptedException {
            //已经把文件加载到当前工作目录中了，所以直接文件名就行了
            BufferedReader br = new BufferedReader(new InputStreamReader(new FileInputStream("product.txt")));
            String line;
            while (StringUtils.isNotEmpty(line = br.readLine())) {
                String[] fields = line.split(",");
                pdInfoMap.put(fields[0], fields[1]);
            }
            br.close();
        }

        @Override
        protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
            //由于已经持有完整的产品信息表，所以在map方法中就能实现join
            String orderLine = value.toString();
            String[] fields = orderLine.split("\t");
            String pdname = pdInfoMap.get(fields[1]);
            text.set(orderLine + "\t" + pdname);
            context.write(text, NullWritable.get());

        }
    }

    public static void main(String[] args) throws IOException, URISyntaxException, ClassNotFoundException, InterruptedException {
        Configuration conf = new Configuration();
        Job job = Job.getInstance(conf);

        job.setJarByClass(mapjoin.class);

        job.setMapperClass(mapp.class);

        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);

        FileInputFormat.setInputPaths(job, new Path("/home/lzq/input/test.txt"));
        FileOutputFormat.setOutputPath(job, new Path("/home/lzq/output"));

        //制定需要缓存一个文件到所有的maptask运行节点工作目录
        // job.addArchiveToClassPath(); 缓存jar包到maptask运行节点的classpath
        //job.addFileToClassPath();缓存普通文件到maptask运行节点的classpath中
        // job.addCacheArchive(); 缓存压缩包文件到maptask运行节点的工作目录
        //缓存普通文件到maptask运行节点工作目录

        //  将产品信息表放到每个maptask工作目录
        job.addCacheFile(new URI("/home/lzq/product.txt"));

        //map端join的逻辑不需要reduce，默认有一个reduce
        job.setNumReduceTasks(0);

        boolean b = job.waitForCompletion(true);
        System.exit(b?0:1);
    }
}