Sgg:Hadoop Shuffle机制


MapReducer是一个分布式的计算框架。
MapReducer的特点:

  1. 易于编程。
  2. 高容错性
  3. 良好的拓展性。
  4. 适合PB级别以上的海量数据处理

其中最重要的是shuffle机制流程。
Mapper:
映射,将所处理业务的最小数据单元拆分出啦以Key-Value对的形式传送给下一个环节。
Reducer:
化简,按照业务逻辑将所有已拆分的数据合并同类项的过程。
以wordcount为例的简图:

在这里插入图片描述
在这里插入图片描述

1. Format

MapReduce阶段有InputFormat和OutputFormat两个格式化输入输出格式。这两个过程都是可以自定义输入和自定义输出的。

2. 序列化

定义: 将内存中的对象转化成字节序列(或其他数据传输协议)以便于存储(持久化)和网络传输
Java的序列化是重量级序列化框架。自带了很多额外信息,不利于网络传输,因此Hadoop有一套自己的序列化机制。更加精简有效。

3. 比较机制

3.1 实现WritableComparable自然比较器接口

自定义的Bean类型的数据作为key如果根据业务需求进行比较,要实现WritabeComparable接口。
其中一个比较方法:根据比较值返回正负数。

@Override
public int compareTo(FlowBean o) {
// 倒序排列,从大到小
return this.sumFlow > o.getSumFlow() ? -1 : 1;
}

3.2 继承WritableComparactor自定义比较器

public class FlowComparator extends WritableComparator{
	public FlowComparator () {
		super(FlowBean.class, true);
	}
	@Override
	public int compare(WritableComparable a, WritableComparable b) {
		FlowBean bean1 = (FlowBean)a;
		FlowBean bean2 = (FlowBean)b;
		return bean1.getSumFlow() < bean2.getSumFlow() ? -1 : 1;
	}
}

在Driver中声明。

// 5 指定自定义排序比较器规则
job.setSortComparatorClass(FlowComparator.class);

4. 手动设置partition mapper reducer分区数

都可以在Driver端手动设置参数。几个reducer就有几个输出文件。

5.MapTask

  1. 先把Data文件格式进行InputFormat的格式解读
    按照对应的文件形式将数据以流的形式解读
  2. 经过格式的解读之后进行Mapper的根据业务拆分成最小的数据单元
  3. 再导入环形的缓冲区,存在于内存
    这里我们说一下环形缓冲区?
    环形缓冲区是一个环形双链表结构,他的默认内存是1MB,是用来储存拆分后的数据的地方,由于他的内存只有有限的1M内存,因此他有一个阈值80%,首先存满80%后,会在链表的另一端开辟一个空间继续存20%,存满后,数据会溢出,这里我们叫溢写(spill),溢出的数据会进入磁盘缓冲区,但是进入循环缓冲区,但是之前还要经历分区(Partitioner)和排序(sort),这个就是序列化
    4.分区后进行排序,排序一般是 快速排序 方法,需要每个key比较,比较器有两种[自然排序,自定义排序]
    排序之后可能需要合并(combine)?
    5.数据序列化之后进入磁盘缓冲区

    6.ReduceTask

    1. 磁盘缓冲区(DiskBuffer)存入内存级别的缓冲区Mem,
    2. 之后进行排序,归并排序面对的是(简单)基本数据类型的Key分组排序面对的(复杂)Bean类型的KEY
    3. 排序后进行Reduce的排序,每个key的所有value合并过程
    4. 最后进入OutputFormat进行输出
      得到输出结果par-r-xxxxx文件和 代表成功的_success文件
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值