Hadoop_day05_MapReduce 的 Shuffle 详解（分区、排序、规约、分组）

一、分区

在 MapReduce 中, 通过我们指定分区, 会将同一个分区的数据发送到同一个 Reduce 当中进行处理

​        例如: 为了数据的统计, 可以把一批类似的数据发送到同一个 Reduce 当中, 在同一个 Reduce 当中统计相同类型的数据, 就可以实现类似的数据分区和统计等

​        其实就是相同类型的数据, 有共性的数据, 送到一起去处理

        Reduce 当中默认的分区只有一个

1.1 Mapper

public class PartitionMapper extends Mapper<LongWritable, Text, Text, NullWritable> {
    // map方法，将 K1 V1 转为 K2 V2
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
        context.write(value,NullWritable.get());
    }
}

1.2 Reducer

public class PartitionReducer extends Reducer<Text,NullWritable,Text,NullWritable> {
    @Override
    protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
        context.write(key,NullWritable.get());
    }
}

1.3 Partitioner

package com.cpz.partition;

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;


public class MyPartitioner extends Partitioner<Text,NullWritable> {
    // 1.定义分区规则
    // 2.返回对应的分区编号
    @Override
    public int getPartition(Text text, NullWritable nullWritable, int i) {
        // 拆分行文本数据，获取中奖字段的值
        String result = text.toString().split("\t")[5];
        // 判断中奖字段的值和15的关系，然后返回对应的分区编号
        int num = Integer.parseInt(result);
        if (num > 15){
            return 1;
        }else {
            return 0;
        }
    }
}

1.4 JobMain

package com.cpz.partition;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;

import java.net.URI;

public class JobMain extends Configured implements Tool {

    @Override