mapreduce（手机号的分区）、mapTask的运行机制和并行度

最新推荐文章于 2023-01-04 10:52:05 发布

喵喵秀拌酱

最新推荐文章于 2023-01-04 10:52:05 发布

阅读量328

点赞数

分类专栏：笔记文章标签： hadoop 大数据

本文链接：https://blog.csdn.net/Carina_____/article/details/108515411

版权

本文探讨了Hadoop MapReduce中手机号的分区策略，通过自定义分区将不同数字开头的手机号分开。同时，深入解析了mapTask的运行机制，包括并行度的决定因素，如切片大小、mapred.min.split.size和mapred.max.split.size参数的影响。还介绍了mapTask的基础配置，如环形缓冲区大小、溢写百分比和溢写文件合并数量。最后，提到了Hadoop数据的压缩选项和reduce端的join算法。

摘要由CSDN通过智能技术生成

排序、合并都是作用在K2上

手机号的分区
在统计求和的基础上，继续完善，将不同的手机号分到不同的数据文件的当中去，需要自定义分区来实现，这里我们自定义来模拟分区，将不同数字开头的手机号进行分开

public class PhonePartition extends Partitioner<Text,FlowNum> {
    /**
     * 接收我们K2 V2 以及reduce的个数
     * @param text
     * @param flowNum
     * @param i
     * @return
     */
    @Override
    public int getPartition(Text text, FlowNum flowNum, int i) {
        String phoneNum = text.toString();
        if(phoneNum.startsWith("135")){
            return 0;
        }else if(phoneNum.startsWith("136")){
            return 1;
        }else if(phoneNum.startsWith("137")){
            return 2;
        }else if(phoneNum.startsWith("138")){
            return 3;
        }else if(phoneNum.startsWi