- 博客(3)
- 收藏
- 关注
RSS订阅原创 MapReduce工作机制详解（MapTask和ReduceTask)
MapTask:1.maptask0负责切片0 ，maptask1负责切片1，maptask2负责切片2。2.maptask0通过一个组件TextinputFormat读切片0，这个组件封装一个LineRecordReader,里面有next方法，每调一次方法从切片0里读一行，给maptask返回k1：行起始offset和value1：行内容。3.调用mapper里的map(k1,v1,conte...
2018-03-27 15:17:12
1504
原创 NAME NODE工作机制
NAME NODE安全模式出现原因：namenode发现集群中的block丢失一定比例时，namenode会进入安全模式，在安全模式下，客户端不能进行操作，只能查看元数据。
2018-03-23 14:31:19
159
原创 HDFS读和写数据流程原理
异常：1.如果其中一台DATA NODE挂掉，那存在这台机器上的没用的数据，定期会向NAME NODE汇报，如果发现元数据里没有blockid没有，就会向DATA NODE发出命令删掉...
2018-03-23 10:52:18
188
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人