MR
文章平均质量分 76
大数据专家
Just do IT.
展开
-
MR 的shuffle机制
mapreduce高级特性及shuffle第一节:shuffle机制1.1 概述mapreduce中,map阶段处理的数据如何传递给reduce阶段,是mapreduce框架中最关键的一个流程,这个流程就叫shuffle;shuffle:洗牌、发牌——(核心机制:数据分区,排序,缓存);具体来说:就是将maptask输出的处理结果数据,分发给reducetask,并在分发的过程中,对数...原创 2018-08-01 00:04:50 · 1953 阅读 · 2 评论 -
MR多表连接
mapreduce高级特性3第一节:结合案例讲解mr重要知识点1.1 多表连接第一张表的内容:login:uid sexid logindate1 1 2017-04-17 08:16:202 2 2017-04-15 06:18:203 1 2017-04-16 05:16:244 2 2017-04-14 03:18:205 ...原创 2018-08-01 00:05:26 · 438 阅读 · 0 评论