![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
文章平均质量分 78
落花流水似往昔
从事大数据对年,有丰富的大数据开发经验
展开
-
MapperReduce-----好友案列
元数据: A:C,F,H,M,E B:F,H,E,X,C C:B,F,D,E D:M,H,B,D 思路: 第一阶段 首先map端将user作为value值.将好友作为key值循环输出 Reduce端将key值放入list集合中遍历输出,在通过双for循环(详细请看代码) 第二阶段 在Map端在第一阶段的结果上,Set出Key和Value值 在Reduce端,通过Strin...原创 2019-11-07 21:38:22 · 104 阅读 · 0 评论 -
Mr程序数据处理流程
文章是本人基于对MapReduce的理解;如有误,随时交流;Hadoop分布式文件系统的核心组件HDFS,HDFS的核心是MapReduce,而MapReduce的核心是shuffle;可想而知,MapReduce有多重要;Spark是基于MapReduce,针对MapReduce的shuffle进行一系列的基于内存的计算、以RDD的描述信息对数据进行处理、更高级的API的计算引擎;原创 2019-10-02 12:06:25 · 952 阅读 · 0 评论