MapReduce工作原理（细节整理）

• 为什么会有跑多个map任务
  好处：可以同时计算多份数据，总的计算时长会成倍缩短
  坏处：1 并行计算资源分配过多 2 数据聚合效率变慢

• 任务的数量具体需要多少，由什么决定
  由输入的数据来决定。数据从hdfs来，map任务会效仿hdfs文件分块的形式 把输入的数据进行分块（filesplit）
  - 切片：默认情况下，会对每个单独的文件进行切片 默认切片大小和块大小相同，

• 如果maptask的任务数量真的就是根据块的数量来决定
  会出现小文件问题 ，但是每个块的物理数据是保存在linux各个节点目录下，每个maptask处理一个块 ，原则是任务本地性原则（数据在哪，任务在哪） 利于整个集群的资源利用
  map产生的结果是直接传输到reduce还是先写磁盘？
  先写磁盘：容错性高，内存占用不会太高，网络IO的占用也不会堵塞。map的结果写到磁盘容错 ： 如果在redece的时候出现问题了，map部分是不需要重新计算

• reduce端是怎么聚合数据？相同的key是否需要一直等到？
  整个mapreduce过程中有三个步骤会排序
  排序地点 ：

  • map端分区之后 快速排序
  • reduce接受各个map的结果之后，也必须排序 归并排序

• map分区

  • 依据有几个reducetask事先分好了数据–分区，分区的结果需要满足：相同的key分到相同的reducetask
  • 默认分区方法：通过key的hashcode对reduce的数量取余 余数一样的分到相同的一个区，不能避免数据倾斜，可以相对的改善