
Shuffle
Shuffle
睡覺了
Everything is Object 我现在能做的,便是以一段拙劣的文字来祭奠我那段流逝的岁月
展开
-
Shuffle阶段的角度分析
流程角度: 内存角度:原创 2019-11-15 08:42:37 · 6815 阅读 · 0 评论 -
Shuffle 之Partition 分区算法
算法总结: 概念:对key 进行哈希,获取 到一个哈希值, 用这个 哈希值 与 reducetask 的 数量 取余。 余几,这个 数据 就放在 余数 编号的partition中。 算法实现: 一 map import org.apache.hadoop.io.LongWritable; import org.apache.hadoop.io.NullWr...原创 2019-11-28 08:04:17 · 6609 阅读 · 0 评论