![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 84
wangcx110
这个作者很懒,什么都没留下…
展开
-
MapReduce Application中mapper的数目和分片的数目
问题 MapReduce Application中mapper的数目和分片的数目是一样的 默认情况下,分片和输入文件的分块数是相等的。也不完全相等,如果block size大小事128M,文件大小为128.1M,文件的block数目为2,但是application运行过程中,你会发现分片数目是1,而不是2,其中的机理,后面会分析 有的程序会设置map的数目,那么map数转载 2014-12-01 15:03:08 · 278 阅读 · 0 评论 -
Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
Hadoop 2.0 HA架构图: FC是要和NN一一对应的,两个NN就要部署两个FC。它负责监控NN的状态,并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利,因为最多只有两个节点,目前选择策略还比较简单(先到先得,轮换)。 ZKFC是Hadoop中通过ZK实现FC功能的一个实用工具。 ZKFC转载 2014-12-01 15:01:36 · 348 阅读 · 0 评论