hadoop
文章平均质量分 61
桃花不见秋风
一入IT深似海
展开
-
mapreduce执行过程
一、执行过程MapReduce过程分为inputmapshufflereduceoutput1.input:首先从HDFS上面读取文件,同时将大文件拆分成小文件(128M),与此同时将并组成键值对的形式2.map:将input传送过来的每个数据块调用一次map方法,并构建新的键值对3.shuffle:排序:按照键值对做一个排序分组:将key值相同的数据放到一个迭代器中4.reduce:每个分组后的数据调用一次reduce方法,构建新的键值对5.output:将reduce传递过来原创 2021-01-20 23:52:22 · 666 阅读 · 0 评论 -
复习Hadoop相关知识归纳
Hadoop知识点归纳版本hadoop1:是由hdfs 和MapReducehadoop2:是由hdfs,MapReduce,yarn三部分构成hadoop四大组件hadoop common功能:用于支持其他模块和其他工具的接口H新的改变我们对Markdown编辑器进行了一些功能拓展与语法支持,除了标准的Markdown编辑器功能,我们增加了如下几点新功能,帮助你用它写博客:全新的界面设计 ,将会带来全新的写作体验;在创作中心设置你喜爱的代码高亮样式,Markdown 将代码片显示选原创 2021-01-12 00:38:11 · 462 阅读 · 1 评论