Hadoop（3）：Shuffle过程详解

一、Shuffle功能

Shuffle发生的阶段是map的输出到达reduce输入之前的中间阶段，其作用将Map端输入进行打乱重组，然后，输出到Reduce端。Shuffle由map shuffle和reduce shuffle组成。

二、步骤详解

以wordcount 单词统计

1.读取read.txt文件

Hadoop spark
spark

2.读取文件到输入map的数据

格式为（偏移量，数据）
<0,hadoop spark>
<12,spark>

3.map输出

<hadoop,1>,<spark,2>

4.map shuffle

数据往内存中写入，环形缓冲区。
（1）环形缓冲区内存默认大小：100MB，用户自定义大小

<property>
  <name>mapreduce.task.io.sort.mb</name>
  <value>100</value>
  <description>The total amount of buffer memory to use while sorting 
  files, in megabytes.  By default, gives each merge stream 1MB, which
  should minimize seeks.</description>
</property>

（2）当map()被调用次数过多的时候，代表内存中的空间会占用越来越大。当内存中的空间达到了80%，默认是80%，用户可以自定义阈值，从而触发spill溢写操作

<property>
  <name>mapreduce.map.sort.spill.percent</name>
  <value>0.80</value>
  <description>The soft limit in the serialization buffer. Once reached, a
  thread will begin to spill the contents to disk in the background. Note that
  collection will not block if this threshold is exceeded while a spill is
  already in progress, so spills may be larger than this threshold when it is
  set to less than .5</description>
</property>

（3）溢写阶段
    溢写会单独开启一个线程（将数据写入磁盘中）。
    溢写过程中map可以继续往剩余的内存空间中继续写入，互不影响；如果写入的速度快于溢写的速度，那么会造成阻塞，就会等待溢写完成。溢写目录

<property>
  <name>mapreduce.cluster.local.dir</name>
  <value>${hadoop.tmp.dir}/mapred/local</value>
  <description>The local directory where MapReduce stores intermediate
  data files.  May be a comma-separated list of
  directories on different devices in order to spread disk i/o.
  Directories that do not exist are ignored.
  </description>
</property>

（4）分区partition

    默认hashpartiton算法，哈希值取余的方式。
    -》reduce数目设置
        时间是检验真理的唯一标准，reduce的数目设置影响运行总时间。假设：20个reduce运行时间10分钟，但是10个reduce运行时间11分钟，则选择数目少的，尽量的减少集群资源开销。
     -》分区的同时有排序sort
        对于分区进行排序，这个阶段还是处于内存中。溢写到本地磁盘，在本地会形成一个溢写文件；如果数据量很大的情况下，就会有多个溢写文件。
        合并merge，将溢写文件做一个合并，采用算法：归并算法。

（5）在map中的shuffle甚至可以有combiner，从而可在map端进行合并，减少reduce端对数据进行抽取时的网络IO。

5.Reduce shuffle

APPmaster通知reduce进行拷贝数据，reduce开启线程去对应的map上拷贝数据，通过http网络方式进行传输。reduce将数据写入内存中，做sort排序，分组group，将相同key的value放在一起

<hadoop,list(1)>
<spark,list(1,1)>

6.Reduce过程

接受Reduce shuffle内容，进行进一步合并，为：
<Hadoop,1>
<spark,2>
最终写入到hdfs。

三、MR程序的优化

1.添加combiner，属于map的shuffle阶段

    在map端设置combiner可以优化reduce输入的数据量，最主要的作用：减轻了网络和磁盘IO的开销

<hadoop,1><hadoop,1><hadoop,1><hadoop,1><hadoop,1><hadoop,1><hadoop,1><hadoop,1>-》转换为-》<hadoop,10>

    combiner虽然是可选项但是默认情况下是不启用的，适合场景：不能更改最终的计算结果，适合做累加的、最大值、最小值等。