一. 背景
1.1 网络上的大部分教程的顺序
1. 启动顺序
- Hadoop
- ZooKeeper
- HBase
- 第二个HMaster
2. 停止顺序
- 第二个 HMaster,kill-9 删除
- Hbase
- ZooKeeper
- Hadoop
Note:网上的以上的顺序并不适合 HA 模式下
1.2 主机规划
IP | 主机名 | 用户名 | 部署模块 | 进程 |
---|---|---|---|---|
10.6.3.43 | master5 | hadoop5 | NameNode ResourceManager HBase |
NameNode DFSZKFailoverController ResourceManager HMaster JobHistoryServer |
10.6.3.33 | master52 | hadoop5 | NameNode ResourceManager HBase |
NameNode DFSZKFailoverController ResourceManager HMaster JobHistoryServer |
10.6.3.48 | slave51 | hadoop5 | DataNode NodeManager Zookeeper HBase |
DataNode NodeManager HRegionServer JournalNode QuorumPeerMain |
10.6.3.32 | slave52 | hadoop5 | DataNode NodeManager Zookeeper HBase |
DataNode NodeManager HRegionServer JournalNode QuorumPeerMain |
10.6.3.36 | slave53 | hadoop5 | DataNode NodeManager Zookeeper HBase |
DataNode NodeManager HRegionServer JournalNode QuorumPeerMain |
1.3 正确的启动顺序
1. ZooKeeper -> Hadoop -> HBase
2. ZooKeeper -> JournalNode (Hadoop) -> NameNode (Hadoop) -> DataNode (Hadoop) -> 主 ResourceManager/NodeManager (Hadoop) -> 备份 ResourceManager (Hadoop) -> ZKFC (Hadoop) -> MapReduce JobHistory (Hadoop) -> 主 Hmaster/HRegionServer (HBase) ->备份 Hmaster (HBase)
二. 首次启动/格式化集群
1. 启动 ZooKeeper 集群
在集群中安装 ZooKeeper 的主机上启动 ZooKeeper 服务。在本教程中也就是在 slave51、slave52、slave53 的主机上启动相应进程。分别登陆到三台机子上执行:
zkServer.sh start
2. 格式化 ZooKeeper 集群
在任意的 namenode 上都可以执行,笔者还是选择了 master5 主机执行格式化命令
hdfs zkfc –for