- 博客(3)
- 收藏
- 关注
RSS订阅转载 zookeeper入门
如何使用 Zookeeper 作为一个分布式的服务框架，主要用来解决分布式集群中应用系统的一致性问题，它能提供基于类似于文件系统的目录节点树方式的数据存储，但是 Zookeeper 并不是用来专门存储数据的，它的作用主要是用来维护和监控你存储的数据的状态变化。通过监控这些数据状态的变化，从而可以达到基于数据的集群管理，后面将会详细介绍 Zookeeper 能够解决的一些典型问题，这里先介绍一下，
2014-12-01 16:45:04
254
转载 MapReduce Application中mapper的数目和分片的数目
问题 MapReduce Application中mapper的数目和分片的数目是一样的 默认情况下，分片和输入文件的分块数是相等的。也不完全相等，如果block size大小事128M，文件大小为128.1M，文件的block数目为2，但是application运行过程中，你会发现分片数目是1，而不是2，其中的机理，后面会分析 有的程序会设置map的数目，那么map数
2014-12-01 15:03:08
273
转载 Hadoop 2.0 – HA功能中ZKFC对NN状态的控制
Hadoop 2.0 HA架构图： FC是要和NN一一对应的，两个NN就要部署两个FC。它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。 ZKFC是Hadoop中通过ZK实现FC功能的一个实用工具。 ZKFC
2014-12-01 15:01:36
347
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人