MapReduce>分布式计算框架MapReduce(B)

1.MapReduce的分区与ReduceTask的数量

在MapReduce中，通过指定分区，会将同一个分区的数据发送到同一个reduce中，例如为了数据的统计，可以把一批类似的数据发 送到同一个reduce当中去，在同一个reduce中统计相同类型的数据，就可以实现类似数据的分区，统计等
直观的说就是相同类型的数据，送到一起去处理，在reduce当中默认分区只有1个。
MapReduce当中的分区类图

Shuffle阶段的Partition分区算法

• 算法：对key 进行哈希，获取到一个哈希值，用这个哈希值与reducetask的数量取余。余几，这个数据就放在余数编 号的partition中

需求：将以下数据进行分开处理
详细数据参见partition.txt 这个文本文件，其中第六个字段表示开奖结果数值，现在以15为分界点，将15以上的结果保存到一个文件，15以下的结果保存到一个文件

注意：分区的案例，只能打成jar包发布到集群上面去运行，本地模式已经不能正常运行了

第一步：定义mapper

这里的mapper程序不做任何逻辑，也不对key，与value做任何改变，只是接收数据，然后往下发送

import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Mapper;
import java.io.IOException;

public class MyMapper extends Mapper<LongWritable,Text,Text, NullWritable>{
   
    @Override
    protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedException {
   
        context.write(value,NullWritable.get());
    }
}

第二步：定义reducer逻辑

reducer也不做任何处理，将数据原封不动的输出即可

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Reducer;
import java.io.IOException;

public class MyReducer extends Reducer<Text, NullWritable,Text,NullWritable> {
   
    @Override
    protected void reduce(Text key, Iterable<NullWritable> values, Context context) throws IOException, InterruptedException {
   
        context.write(key,NullWritable.get());
    }
}

第三步：自定义partitioner

import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Partitioner;
/**
 * 这里的输入类型与map阶段的输出类型相同
 */
public class MyPartitioner extends Partitioner<Text,NullWritable> {
   
    /**
     * 返回值表示数据要去到哪个分区
     * 返回值只是一个分区的标记，标记所有相同的数据去到指定的分区
     */
    @Override
    public int getPartition(Text text, NullWritable nullWritable, int i) {
   
        #Text表示一行数据 进行转换并切分
        String result = text.toString().split("\t")[5];
        System.out.println(result);
        #将字符串转换成整数
        if (Integer.parseInt(result) > 15){
   
            return 1;
        }else{
   
            return 0;
        }
    }
}

第四步：程序main函数入口

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.conf.Configured;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.NullWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.lib.input.TextInputFormat;
import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat;
import org.apache.hadoop.util.Tool;
import org.apache.hadoop.util.ToolRunner;


public class PartitionMain  extends Configured implements Tool {
   
    public static void main(String[] args) throws  Exception{
   
        int run = ToolRunner.run(new Configuration(), new PartitionMain(), args);
        System.exit(run);
    }
    
    @Override
    public int run(String[] args) throws Exception {
   
        //实例一个Job
        Job job = Job.getInstance(super.getConf(), PartitionMain.class.getSimpleName());
        
        //打包代码到集群运行
        job.setJarByClass(PartitionMain.class);
        
        // 设置读取输入文件解析成key，value对
        job.setInputFormatClass(TextInputFormat.class);
        TextInputFormat.addInputPath(job,new Path("hdfs://192.168.100.201:8020/partitioner"));
       
        //设置输出类以及 输出路径
        job.setOutputFormatClass(TextOutputFormat.class);
        TextOutputFormat.setOutputPath(job,new Path("/outpartition"));
        #TextOutputFormat.setOutputPath(job,new Path("hdfs://192.168.100.201:8020/outpartition"));

        //设置mapper类
        job.setMapperClass(MyMapper.class);
        //设置map阶段完成之后的输出类型
        job.setMapOutputKeyClass(Text.class);
        job.setMapOutputValueClass(NullWritable.class);

        //设置reduce类
        job.setReducerClass(MyReducer.class);
        //设置reduce阶段完成之后的输出类型
        job.setOutputKeyClass(Text.class);
        job.setOutputValueClass(NullWritable.class);
        
        /**
         * 设置分区类，以及reducetask的个数，注意reduceTask的个数一定要与分区数保持一致
         */
        job.setPartitionerClass(MyPartitioner.class);
        
        //Map的数量不能人为设置，reduce的数量可以人为设置(r