![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 61
桃花不见秋风
一入IT深似海
展开
-
mapreduce执行过程
一、执行过程 MapReduce过程分为 input map shuffle reduce output 1.input:首先从HDFS上面读取文件,同时将大文件拆分成小文件(128M),与此同时将并组成键值对的形式 2.map:将input传送过来的每个数据块调用一次map方法,并构建新的键值对 3.shuffle:排序:按照键值对做一个排序 分组:将key值相同的数据放到一个迭代器中 4.reduce:每个分组后的数据调用一次reduce方法,构建新的键值对 5.output:将reduce传递过来原创 2021-01-20 23:52:22 · 661 阅读 · 0 评论 -
复习Hadoop相关知识归纳
Hadoop知识点归纳 版本 hadoop1:是由hdfs 和MapReduce hadoop2:是由hdfs,MapReduce,yarn三部分构成 hadoop四大组件 hadoop common 功能:用于支持其他模块和其他工具的接口 H 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客: 全新的界面设计 ,将会带来全新的写作体验; 在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选原创 2021-01-12 00:38:11 · 456 阅读 · 1 评论