hive之_shuffle过程浅谈

个人对shuffle 的理解

1. 说到离线就离不开hive,说到hive就离不开对shuffle的理解，基于hdfs所打造的数据仓库，核心就是hive的shuffle过程，英译是洗牌
   ，整个过程也就是清洗重发的过程，map方法后，reduce方法之前。
   shuffle过程
   首先是inputsplit ,每个切片对应一个map（可以通过yarn去观察），map端首先对读入数据做按不同数据类型做分区，之后根据不同分区做排序（这里采用的快速排序），map过程中会有内存缓冲区（环形缓冲区）它的作用，在数据写入过程中，将数据存入内存从而达到减少IO开启的资源消耗，提高分区，排序的资源量（hive优化中提到map join小表在前存入内存也源于此处），当缓冲区的写入达到默认的0.8（80mb,可更改设置），将开启溢写将内容写入临时文件同时剩下的写入会继续写入到剩余0.2
   这整个过程中会产生大量临时文件，通过merge最后合并成一个文件,分区且有序（归并排序） 到这map端基本结束。（写入内存前可以通过开启 combine ，一般公司都会在map开启来达到减小数据量提高效率，实现的效果 : map的输出是 （key ,value ) ,combine 后输出自然减少了）。
   reduce端，是通过http协议抓取数据 （fetch),map跑完对呀reduce开始抓数，这里涉及到数据倾斜的问题（需要注意)，reduce对数据同样通过 partition
   , sort (归并排序）,整理好的数据最后做reduce算法。