![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Hadoop
极度丶浚爱
一个寻找生命价值的人。
展开
-
Sgg:Hadoop Shuffle机制
Shuffle机制1. Format2. 序列化3. 比较机制3.1 实现WritableComparable自然比较器接口3.2 继承WritableComparactor自定义比较器4. 手动设置partition mapper reducer分区数5.MapTask6.ReduceTask MapReducer是一个分布式的计算框架。 MapReducer的特点: 易于编程。 高容错性 良...原创 2019-12-11 20:28:57 · 253 阅读 · 1 评论 -
Sgg:HDFS读写数据原理&&NameNodeDataNode
HDFS读写数据原理1 写数据原理2 读数据原理3 NameNode&DataNode3.1NameNode&SecondaryNameNode3.1.1作用3.1.2工作机制3.2 DataNode3.2.1 作用3.2.2 原理 Hadoop distributed file system Hadoop分布式文件系统 1 写数据原理 客户还client向namenode请求...原创 2019-12-11 19:27:49 · 237 阅读 · 0 评论