-
为什么会有跑多个map任务
好处:可以同时计算多份数据,总的计算时长会成倍缩短
坏处:1 并行计算资源分配过多 2 数据聚合效率变慢 -
任务的数量具体需要多少,由什么决定
由输入的数据来决定。数据从hdfs来,map任务会效仿hdfs文件分块的形式 把输入的数据进行分块(filesplit)
- 切片:默认情况下,会对每个单独的文件进行切片 默认切片大小和块大小相同, -
如果maptask的任务数量真的就是根据块的数量来决定
会出现小文件问题 ,但是每个块的物理数据是保存在linux各个节点目录下,每个maptask处理一个块 ,原则是任务本地性原则(数据在哪,任务在哪) 利于整个集群的资源利用
map产生的结果是直接传输到reduce还是先写磁盘?
先写磁盘:容错性高,内存占用不会太高,网络IO的占用也不会堵塞。map的结果写到磁盘容错 : 如果在redece的时候出现问题了,map部分是不需要重新计算 -
reduce端是怎么聚合数据?相同的key是否需要一直等到?
整个mapreduce过程中有三个步骤会排序
排序地点 :- map端分区之后 快速排序
- reduce接受各个map的结果之后,也必须排序 归并排序
-
map分区
- 依据有几个reducetask事先分好了数据–分区,分区的结果需要满足:相同的key分到相同的reducetask
- 默认分区方法:通过key的hashcode对reduce的数量取余 余数一样的分到相同的一个区,不能避免数据倾斜,可以相对的改善
MapReduce工作原理(细节整理)
最新推荐文章于 2022-12-05 10:23:00 发布