![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
666呀
点点滴滴会聚江河湖海
展开
-
Hadoop学习总结
Hadoop体系结构 分布式存储:HDFS - - NameNode: 1. 列表内容 2. - DataNode: 1. 列表内容 2. - Hadoop集成Snappy压缩(Hadoop为CDH版本) 去该网站下载你对应hadoop的cdh版本 (http://archive.cloudera.com/cdh5/redha...原创 2018-05-21 20:17:44 · 7771 阅读 · 0 评论 -
Hadoop各个组件的功能
MapReduce:负责数据的map规整与reduce的计算 Hdfs:分布式文件系统 Yarn:负责资源的调度与管理 Combiner:在map的时候根据应用场景进行事先的reduce Partitioner:根据不同的的应用场景进行分区的计算,多个task任务 ...原创 2018-04-16 18:23:16 · 2600 阅读 · 0 评论