Jackie_ZHF的博客

MapReduce的源码分析之Cli 客户端源码分析：        客户端cli干了什么事情？                 加载配置文件> 执行自定义参数的job任务（框架有很多默认参数）> submit提交任务>计算文件的split切片个数 [maps的个数、输入类型、输入大小]  >  清单信息[block位置信息、block的index、split的大小]  &...

注意：block副本放置策略相关描述在Hadoop官网和源码实现与描述不一致。官网是第一个和第二个副本在同一机架上，第三个在不同机架上 更多随意。但是具体实现如下：•Block的副本放置策略    –第一个副本：放置在上传文件的DN；如果是集群外提交，则随机挑选一台磁盘不太满，CPU不太忙的节点。    –第二个副本：放置在于第一个副本不同的机架的节点上。    –第三个副本：与第二个副本相同机架...