《大数据:互联网大规模数据挖掘与分布式处理》(第2版)习题2.2.1解析
互联网大规模数据挖掘与分布式处理(第2版)习题6.1.1-6.1.3解析
电子科技大学课程《大数据分析与挖掘》(2022秋)第一次作业。
问题描述
MapReduce经典案例
解答
第一问
不同的Reducer的时间差异会很大,因为在Map任务中不使用组合器的话,所有Map任务的输出都是键-值对:(w1,1), (w2,1),…,(wn,1),在Shuffle操作后,相同键的键-值对完成分区,排序、分组后作为中间文件成为Reduce任务的输入,通常来说不同键的值表大小差距很大(频繁词汇和冷门词汇),导致不同的Reducer的时间差异会很大。
第二问
如果将Reducer组合成随机的10个任务,时间差距不会十分显著,因为通过使用比Reducer数目更少的Reduce任务,可以减少偏斜性(skew)带来的影响。通过使用比计算节点数目更多的Reduce任务,可以进一步减少偏斜性(skew),在这种情况下,长的Reduce任务可能占满某个计算节点,而几个更短的Reduce任务可以在单个计算节点上串行运行;而如果将Reducer组合成10000个Reduce任务,首先,增加Reduce任务数目会增加整个框架的开销,其次,每一个Reduce任务都要对应一个中间文件,这也会增加存储空间的开销,最后,通常来说不同键的值表大小差距很大,如果每一个Reducer都用一个单独的Reduce任务来完成,那么任务本身会表现出偏斜性(skew),即任务的完成时间差异很大。
第三问
假设我们在100个Map任务中使用组合器,那么上述时间的差异不会很显著。因为我们在对键-值对(w1,1), (w2,1),…,(wn,1)进行分组和聚合之前就应用了Reduce函数,单个Map任务产生的包含键w的键-值对可以组合成一个对(w,m),其中m为w在该Map任务所处理文档集中的出现次数。由此可见,组合器通过减少需要发送到Reduce的数据量和所需时间来帮助提高MapReduce的效率。