Hadoop之shuffle过程

好不容易的周末,你是不是在打打麻将,打打牌,摸一摸,洗一洗呢?哈哈~~
在这我们还是看看Hadoop是如何洗牌的吧.

Map端的Shuffle

1.每个Split会分给一个MapTask来处理

2.MapTask默认是对数据进行按行读取,每读取一行调用一次map方法

3.map方法在处理完一行数据的时候会将数据写出到缓冲区中

4.每个MapTask都自带了一个缓冲区,缓冲区维系在内存中

5.缓冲区默认大小是100M

6.当缓冲区达到条件时,将缓冲区中的数据写到本地磁盘上,这个过程称之为溢写(Spill),产生的文件称之为溢写文件

7.溢写之后,后续产生的数据会继续写到缓冲区中

8.溢写过程可能发生不止一次

9.当map将结果放到缓冲区中之后,结果在缓冲区中会进行分区和排序过程;如果指定了Combiner,那么数据在缓冲区中还会进行合并

10.如果所有数据处理完成,但是有一部分数据在缓冲区中,那么将缓冲区中的数据冲刷到上一次的一些文件中

11.因为可能会产生多次溢写,那么就会产生多个溢写文件,在结果发往Reduce之前,会将多个溢写文件进行合并merge,将多个溢写文件合并成一个结果文件

12.注意:

• 溢写过程不一定会发生.如果发生溢写过程,则将缓冲区中的数据直接刷到最后的结果文件中;如果只有一次溢写,那么这个溢写文件就是最后的结果文件
• merge过程也不一定发生
• 如果溢写文件个数大于等于3个,那么在合并过程中,自动进行一次combiner(指定了combiner的情况)
• 在合并过程中,结果会进行整体分区和排序
• 初始数据量并不能决定溢写次数
• 阈值默认是0.8.即缓冲区的使用达到80%的大小时,就开始溢写
• 缓冲区本质上是一个字节数组,而且是一个环形的缓冲区,目的是为了重复利用缓冲区

Reduce端的Shuffle

1. ReduceTask启动fetch线程去MapTask上抓取数据,只抓取当前要处理的分区数据,将抓取的数据放到文件中,每次从一个MapTask中抓取到数据就会产生一个数据文件

2. 抓取问数据之后,将这个数据文件再次进行合并

3. 在合并过程中,对数据进行排序

4. 合并完成之后,将相同的键所对应的值放入一个List集合,然后利用List集合去产生迭代器,这个过程称之为分组

5. 每组会调用一次reduce方法

6. 每个ReduceTask会产生一个结果文件

7. 注意:

   • 默认fetch线程的数量为5,表示每个ReduceTask会启动5个线程去抓取数据

   • fetch线程通过http请求去抓取数据

   • 合并因子默认为10,表示每10个数据文件进行一次合并,最后合成1个数据文件

   • reduce阈值默认为0.05,表示当有5%的MapTask结束,那么启动ReduceTask开始抓取数据

备注: 本文直接移植我之前的老师课堂笔记.