Combiner
函数是一个可选的中间函数,发生在
[Hadoop]Reducer总是能复用为Combiner?
最新推荐文章于 2022-10-03 13:43:01 发布
本文探讨了在Hadoop MapReduce中Reducer作为Combiner的适用性和不适用性。虽然Reducer和Combiner的输出结构相同,允许在某些情况下复用Reducer作为Combiner,但并非所有场景都适用。例如,在计算股票数据集最大收盘价的场景中,Reducer可以安全复用;而在计算平均交易量时,复用会导致错误结果。关键在于,只有当使用Reducer和不使用时输出结果相同,才能复用Reducer作为Combiner。
摘要由CSDN通过智能技术生成