HA模式下的各种启动顺序

最新推荐文章于 2023-10-21 10:43:32 发布
最新推荐文章于 2023-10-21 10:43:32 发布
阅读量1.1k 收藏 7
点赞数 2
分类专栏： Hadoop 文章标签： hadoop  ha
原文链接：https://blog.csdn.net/u011414200/article/details/50437356
版权

一. 背景

1.1 网络上的大部分教程的顺序

1. 启动顺序

  • Hadoop
  • ZooKeeper
  • HBase
  • 第二个HMaster

2. 停止顺序

  • 第二个 HMaster，kill-9 删除
  • Hbase
  • ZooKeeper
  • Hadoop

Note：网上的以上的顺序并不适合 HA 模式下

1.2 主机规划

IP主机名用户名部署模块进程
10.6.3.43master5hadoop5NameNode
ResourceManager
HBase		NameNode
DFSZKFailoverController
ResourceManager
HMaster
JobHistoryServer
10.6.3.33master52hadoop5NameNode
ResourceManager
HBase		NameNode
DFSZKFailoverController
ResourceManager
HMaster
JobHistoryServer
10.6.3.48slave51hadoop5DataNode
NodeManager
Zookeeper
HBase		DataNode
NodeManager
HRegionServer
JournalNode
QuorumPeerMain
10.6.3.32slave52hadoop5DataNode
NodeManager
Zookeeper
HBase		DataNode
NodeManager
HRegionServer
JournalNode
QuorumPeerMain
10.6.3.36slave53hadoop5DataNode
NodeManager
Zookeeper
HBase		DataNode
NodeManager
HRegionServer
JournalNode
QuorumPeerMain

1.3 正确的启动顺序

1. ZooKeeper -> Hadoop -> HBase

2. ZooKeeper -> JournalNode (Hadoop) -> NameNode (Hadoop) -> DataNode (Hadoop) -> 主 ResourceManager/NodeManager (Hadoop) -> 备份 ResourceManager (Hadoop) -> ZKFC (Hadoop) -> MapReduce JobHistory (Hadoop) -> 主 Hmaster/HRegionServer (HBase) ->备份 Hmaster (HBase)


二. 首次启动/格式化集群

1. 启动 ZooKeeper 集群
在集群中安装 ZooKeeper 的主机上启动 ZooKeeper 服务。在本教程中也就是在 slave51、slave52、slave53 的主机上启动相应进程。分别登陆到三台机子上执行：

zkServer.sh start
 
 

 
 
  • 1


2. 格式化 ZooKeeper 集群
在任意的 namenode 上都可以执行，笔者还是选择了 master5 主机执行格式化命令

hdfs zkfc –formatZK
 
 

 
 
  • 1


3. 启动 JournalNode 集群
分别在 slave51、slave52、slave53 上执行以下命令

hadoop-daemon.sh start journalnode
 
 

 
 
  • 1


4. 格式化集群的 NameNode

在 master5 的主机上执行以下命令，以格式化 namenode：

hdfs namenode -format
 
 

 
 
  • 1


5. 启动刚格式化的 NameNode
刚在 master5 上格式化了 namenode ，故就在 master5 上执行

adoop-daemon.sh start namenode
 
 

 
 
  • 1


6. 同步 NameNode1 元数据到 NameNode2 上
复制你 NameNode 上的元数据目录到另一个 NameNode，也就是此处的 master5 复制元数据到 master52 上。在 master52 上执行以下命令：

hdfs namenode -bootstrapStandby
 
 

 
 
  • 1


7. 启动 NameNode2
master52 主机拷贝了元数据之后，就接着启动 namenode 进程了，执行

hadoop-daemon.sh start namenode
 
 

 
 
  • 1


8. 启动集群中所有的DataNode

在 master5 上执行 

hadoop-daemons.sh start datanode
 
 

 
 
  • 1


9. 在 RM1 启动 YARN

在 master5 的主机上执行以下命令：

start-yarn.sh
 
 

 
 
  • 1

10. 在 RM2 单独启动 YARN

虽然上一步启动了 YARN ，但是在 master52 上是没有相应的 ResourceManager 进程，故需要在 master52 主机上单独启动：

yarn-daemon.sh start resourcemanager
 
 

 
 
  • 1


11. 启动 ZKFC

在 master5 和 master52 的主机上分别执行如下命令：

hadoop-daemon.sh start zkfc
 
 

 
 
  • 1

12. 开启历史日志服务

在 master5 和 master52 的主机上执行

mr-jobhistory-daemon.sh   start historyserver
 
 

 
 
  • 1


13. 启动主 HMaster

在其中一台主机上启动 Hmaster，即笔者在 master5 上

start-hbase.sh 
 
 

 
 
  • 1


14. 启动备份 HMaster
另一台 Hmaster 的主机上，即笔者在 master52 上，执行以下命令

hbase-daemon.sh start master
 
 

 
 
  • 1


三. 开启与关闭集群顺序

3.1 Hadoop 生态系统集群的启动顺序概览

以下中标注红色加粗的即为笔者集群目前已经安装的。

顺序服务备注有关说明和更多信息
1ZooKeeper建议在启动 HDFS 之前先启动 ZooKeeper；这是高可用性 (HA) 部署中的要求。在任何情况下，始终在 HBase 之前先启动 ZooKeeper在单个服务器上安装 ZooKeeper Server 包并启动 ZooKeeper；在生产环境中安装 ZooKeeper；部署 HDFS High Availability；为 ResourceManager (YARN) 配置 高可用性
2HDFS除 ZooKeeper 以外，在所有其它服务之前先启动 HDFS。如果您正在使用 HA，请参阅高可用性指南中的说明在集群中部署 HDFS； HDFS 高可用性
3HttpFSHttpFS 安装
4aMRv1在 Hive 或 Oozie 之前先启动 MapReduce。如果 YARN 正在运行，请勿启动 MRv1在集群中部署 MapReduce v1 (MRv1)；为 JobTracker (MRv1) 配置 高可用性
4bYARN在 Hive 或 Oozie 之前启动 YARN。如果 MRv1 正在运行，请勿启动 YARN在集群中部署 MapReduce v2 (YARN)
5HBase启动 HBase Master；在分布式集群中部署 HBase
6Hive在启动 HiveServer2 和 Hive console 之前先启动 Hive Metastore安装 Hive
7Oozie启动 Oozie Server
8Flume 1.x运行 Flume
9SqoopSqoop 安装和 Sqoop 2 安装
10HueHue 安装

3.2 非首次启动集群

顺序步骤操作主机命令开启的相应进程
1启动 ZooKeeper 集群slave51、slave52、slave53zkServer.sh startQuorumPeerMain
2启动 JournalNode 集群slave51、slave52、slave53hadoop-daemon.sh start journalnodeJournalNode
3启动刚格式化的 NameNodemaster5hadoop-daemon.sh start namenodeNameNode
4同步 NameNode1 元数据到 NameNode2 上master52hdfs namenode -bootstrapStandby
5启动 NameNode2master52hadoop-daemon.sh start namenodeNameNode
6启动集群中所有的DataNode1) master5
2) slave51、slave52、slave53
(二者选一即可,下同)		1) hadoop-daemons.sh start datanode
2) hadoop-daemon.sh start datanode		DataNode
7在 RM1 启动 YARNmaster5start-yarn.shResourceManager(master5)
NodeManager(slave节点)
8在 RM2 单独启动 YARNmaster52yarn-daemon.sh start resourcemanagerResourceManager
9启动 ZKFCmaster5 与 master52hadoop-daemon.sh start zkfcDFSZKFailoverController
10开启历史日志服务master5mr-jobhistory-daemon.sh start historyserverJobHistoryServer
11启动主 HMaster 和 HRegionServermaster5start-hbase.shHMaster (master5上)
HRegionServer (slave节点上)
12启动备份 HMastermaster52hbase-daemon.sh start masterHMaster


Note：与 “首次启动格式化集群” 不同的是没有 格式化 ZooKeeper 集群 和 格式化集群的 NameNode 这两个步骤！

3.3 Hadoop 生态系统集群的关闭顺序概览

以下中标注红色加粗的即为笔者集群目前已经安装的。

关闭顺序服务备注有关说明和更多信息
1Hue在 Hue Server 机器上运行以下内容以停止 Hue:
sudo service hue stop
2aSqoop 1在运行其的所有节点上运行以下内容:
sudo service sqoop-metastore stop
2bSqoop 2在运行其的所有节点上运行以下内容:
sudo /sbin/service sqoop2-server stop
3Flume 0.9在运行 Flume Node 进程的每个节点上将其停止:
sudo service flume-node stop
停止 Flume Master:
sudo service flume-master stop
4Flume 1.x没有 Flume Master在运行 Flume Node 进程的每个节点上将其停止:
sudo service flume-ng-agent stop
5Ooziesudo service oozie stop
6Hive要停止 Hive，请退出 Hive 控制台，并确保没有 Hive 脚本运行，关闭 HiveServer2:
sudo service hiveserver2 stop
关闭每个客户端上的 Hive Metastore Daemon:
sudo service hive-metastore stop
如果 Metastore 从命令行运行，使用 Ctrl-c 将其关闭
7HBase停止 Thrift Server 和客户端，然后关闭集群要停止 Thrift Server 和客户端:
sudo service hbase-thrift stop
要关闭集群，请在主节点上使用此命令:
hbase-daemon.sh stop master
在托管 Region Server 的每个节点上使用以下命令:
hbase-daemon.sh stop regionserver
8aMapReduce v1停止 MapReduce 之前先停止 Hive 和 Oozie要停止 MapReduce，请停止 JobTracker service，然后在运行 Task Tracker 的所有节点上将其停止。使用以下命令:
sudo service hadoop-0.20-mapreduce-jobtracker stop
sudo service hadoop-0.20-mapreduce-tasktracker stop
8bYARN停止 YARN 之前先停止 Hive 和 Oozie要停止 YARN，请在运行 MapReduce JobHistory 服务、ResourceManager 服务和 NodeManager 的所有节点上停止这些服务。使用以下命令:
hadoop-daemon.sh stop historyserver
yarn-daemon.sh stop resourcemanager
yarn-daemon.sh stop nodemanager
9HttpFSsudo service hadoop-httpfs stop
10HDFS要停止 HDFS：在 NameNode 上:
hadoop-daemon.sh stop namenode
在 Secondary NameNode 上（如果使用）:
hadoop-daemon.sh stop secondnamenode
在每个 DataNode 上:
hadoop-daemon.sh stop datanode
11ZooKeeper在停止 ZooKeeper 之前先停止 HBase 和 HDFS要停止 ZooKeeper Server，请在每个 ZooKeeper 节点上使用以下命令:
zkServer.sh stop

3.4 集群关闭

顺序步骤操作主机命令关闭的相应进程
1关闭备份 HMastermaster52hbase-daemon.sh stop masterHMaster
2关闭主 HMaster 和 HRegionServermaster5stop-hbase.shHMaster (master5上)
HRegionServer (slave节点上)
3关闭历史日志服务master5mr-jobhistory-daemon.sh stop historyserverJobHistoryServer
4关闭 ZKFCmaster5 与 master52hadoop-daemon.sh stop zkfcDFSZKFailoverController
5在 RM2 单独关闭 YARNmaster52yarn-daemon.sh stop resourcemanagerResourceManager
6在 RM1 关闭 YARNmaster5stopt-yarn.shResourceManager (master5)
NodeManager (slave节点)
7关闭集群中所有的DataNode1) master5
2) slave51、slave52、slave53
(二者选一即可,下同)		1) hadoop-daemons.sh stop datanode
2) hadoop-daemon.sh stop datanode		DataNode
8关闭 NameNode2master52hadoop-daemon.sh stop namenodeNameNode
9关闭剩下的 NameNodemaster5hadoop-daemon.sh stop namenodeNameNode
10关闭 JournalNode 集群slave51、slave52、slave53hadoop-daemon.sh stop journalnodeJournalNode
11关闭 ZooKeeper 集群slave51、slave52、slave53zkServer.sh stopQuorumPeerMain

注意：一定要按顺序停止，如果先停 ZooKeeper 再停 HBase 的话，基本停不下来


四. 常见问题与参考资料

4.1 常见问题

1. 我启动 ZKFC 和 NameNode 守护进程的顺序重要么？

不重要，在任何给定的节点上，你可以任意顺序启动 ZKFC 和 NameNode 进程

2. 如果Zookeeper宕机会怎样？

如果 Zookeeper 集群宕机，没有自动故障转移将会被触发。但是，HDFS 将继续没有任何影响的运行。当 Zookeeper 被重新启动，HDFS 将重新连接，不会出现问题

3. 我可以指定两个 NameNode 中的一个作为主要的 NameNode 么？

当然不可以。目前，这是不支持的。先启动的 NameNode 将会先变成 Active 状态。你可以指定的顺序，先启动你希望成为 Active 的节点，来完成这个目的。所以笔者我在后面的集群管理脚本中，启动完一台 NameNode 后再启动 ZKFC。和以上的顺序有点出入，但一点问题都木有~

4.2 参考资料

暖暖6588
关注
  • 2
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HA 模式下的 Hadoop+ZooKeeper+HBase 启动顺序
Zephyr's Blog
01-01 1万+
2 主机规划 一 首次启动集群 网络上的大部分教程的顺序 启动顺序 停止顺序 1.2 主机规划 IP 主机名 用户名 部署模块 进程 10.6.3.43 master5 hadoop5 NameNodeResourceManager NameNodeDFSZKFailoverControllerResourceMana
db2 hadr 起停顺序_Zookeeper、Hadoop、Hbase的启动顺序以及关闭顺序
weixin_39803977的博客
12-23 294
启动顺序Hadoop及hbase集群启动顺序 zookeepeer -> hadoop -> hbase停止顺序Hadoop及hbase集群关闭顺序 hbase -> hadoop -> zookeepeer启动和停止ZK /home/zookeeper-3.4.6/bin/zkServer.sh start | stop启动和停止hadoop集群方式一：启停yarn及...
HA启动顺序
Jianghebujini的博客
05-19 169
1.启动zkServer 2.zkServer.sh status查看状态 3.依次启动所有JournalNode（必须在namenode之前），hdfs --daemon start journalnode 4.清除所有namenode目录数据，并格式化namenode，hdfs namenode -format 5.hdfs zkfc -formatZK命令，格式化ZKFC，并启动ZKFC 6.主节点启动namenode，hdfs --daemon start namenode 7.在第二.
hadoop zookeeper hbase启动顺序
weixin_34400525的博客
12-28 583
1、启动hadoop2、启动zookeeper：注意每个节点都要启动。sudo ./zkServer.sh start3、启动hbasehadoop@master:/opt/Hadoop/hbase-1.3.1/bin$ ./start-hbase.sh 4、在hbase下的bin目录下启动thrift服务./hbase-daemon.sh start thrift5、在虚拟环境中启动pychar...
HA启动过程的顺序
weixin_30835649的博客
07-28 236
step1:开启zookeeper服务 　　$>zkServer.sh start step2:开启journalnode守护进程（在qjournal协议指定的节点上执行） 　　$>hadoop-daemon.sh start journalnode step3:开启namenode守护进程（在nn1和nn2执行） 　　$>hadoop-daemon.sh start ...
W3335HA1 传统模式启动bios.zip
最新发布
04-08
【标题】"W3335HA1 传统模式启动bios.zip" 提供的是与BIOS设置相关的资料，尤其强调了“传统模式启动”。在个人计算机系统中，BIOS（基本输入输出系统）是固件层的核心部分，负责在开机时执行初始化任务，并为操作...
HadoopHA集群部署、HDFSHA配置、启动与验证教学课件.pptx
06-20
在HA模式下，每个NameNode都需要被格式化，以初始化其存储的数据结构。这个过程会在每个NameNode节点上执行，确保它们都有干净的元数据状态。 一旦配置文件分发并NameNode格式化完毕，我们可以启动HDFS HA集群。...
捷波HA07UA11
01-31
AHCI模式的引入旨在提供串行ATA设备的原生命令队列（NCQ）功能，该功能允许硬盘内部优化读写顺序，从而提高数据传输速度。与传统的IDE（集成驱动电子）模式相比，AHCI模式提供了更高的性能和更丰富的错误处理机制。 ...
rocketmq-starter，客户端开发启动项目包
01-25
Push模式下，消费者会接收到Broker推送的消息，而Pull模式下，消费者主动从Broker拉取消息。在Rocketmq-starter中，可能会预设好消费者的基本配置，例如订阅的主题（Topic）、消费组（Group ID）等，开发者只需要...
HA-Potplayer_15b_26143
11-13
对于视频播放，它支持包括H.264、HEVC在内的各种编码格式，并且可以流畅播放4K甚至8K超高清视频，确保了高质量的视觉享受。 PotPlayer的其他重要特性包括： 1. **强大的解码能力**：内置了多种解码器，无需额外安装...
hbase hadoop zookeeper的启动和停止的顺序
lzlnd的博客
12-18 4766
启动顺序 Hadoop及hbase集群启动顺序zookeepeer->hadoop->hbase 停止顺序 Hadoop及hbase集群关闭顺序hbase->hadoop->zookeepeer 启动和停止ZK   /home/zookeeper-3.4.6/bin/zkServer.sh start | stop 启动和停止hadoop集群  方式一： 启停...
hadoop、zookeeper、hbase、spark的启动和停止顺序
蜗牛小将
09-17 3878
启动： 先启动hadoop集群（在master机器上依次运行start-dfs.sh->start-yarn.sh->mr-jobhistory-daemon.sh start historyserver） 然后启动zookeeper集群（在每个机器上运行bin/zkServer.sh start） 最后启动hbase（在master机器上运行bin/start-hbase...
虚拟机zookeeper、Hadoop、Hbase的开关顺序
m0_64459817的博客
11-29 1622
开机 zkServer.sh start（三个节点） start-all.sh（主机） start-hbase.sh（主机） 关机 stop-hbase.sh（主机） stop-all.sh（主机） zkServer.sh stop（三个节点）
hadoop zookeeper hbase 服务启动语句
weixin_41850738的博客
04-06 310
（1）hadoop     hads启动：        在hadoop安装包下，执行 ./sbin/start-dfs.sh      hads关闭：        在hadoop安装包下，执行 ./sbin/stop-dfs.sh yarn启动： 在hadoop安装包下，执行 ./sbin/start-yarn.sh   ...
【Hadoop开发环境搭建】四、Hadoop集群启动
Nelson_hehe的博客
10-04 1410
四、Hadoop集群启动 在配置完成Hadoop集群后，我们可以手动启动集群及相关服务 1.启动集群(在sbin目录下执行下面指令，如果集群是第一次启动可以用第一种，常用的启动方式是一个一个的守护进程启动)： start-dfs.sh //启动HDFS相关服务 start-yarn.sh //启动YARN相关服务 mr-jobhistory-daemon.sh start...
ZooKeeper在分布式集群中启动顺序的作用
weixin_44943389的博客
10-21 254
这是一种常见的启动顺序，但具体情况可能会因环境和需求而有所不同。在实际部署和管理中，还应考虑到各个组件之间的依赖关系，以确保它们能够顺利地协作运行。另外，确保在启动这些服务之前，你已经正确地配置了它们的配置文件，例如 Hadoop 的。，ZooKeeper 的。，以及 HBase 的。
HadoopHA模式（由于Hadoop的HA模式是在Hadoop完全分布式基础上，利用zookeeper等协调工具配置的高可用的Hadoop集群模式）
m0_74413382的博客
06-02 1778
vim /etc/profile配置环境变量，source /etc/profile使环境变量生效。apache-zookeeper-3.5.7-bin名字好长不太习惯可以用mv改名。tar -zxf tar包 -C 指定目录。或者ln -s 软链接。
关于hadoop和zookeeper的启动
m0_53045260的博客
06-02 459
直接在1节点启动脚本，在/zkServer下添加脚本zk_start.sh zk_status.sh zk_stop.sh。1.启动Hadoop。
启动Zookeeper + Hadoop + Hbase + Kafka大数据服务
中国小宝
09-30 1945
        Hadoop是非常流行的大数据框架，Zookeeper提供了高效的协调服务，Hbase高度依赖zk，是基于HDFS系统，具有可伸缩性，非常适合存储复杂的数据结构，这三者作为一个系统整体，Kafka是作为缓存队列弥补Hbase写入性能较差的不足，让我们去走进它。 1、Zookeeper + Hadoop + Hbase大数据服务的架构图              如上图...
Redhat 6.2 配置Oracle 11gR2 on Rose HA V8.8：详细安装教程
- 启动服务器后，通过BIOS设置将启动顺序改为光驱优先，插入Red Hat 6.2安装光盘，选择“Install or update an existing system”，然后按Enter继续。 3. **磁盘检测**： - 在安装过程中，选择“Skip”磁盘检测并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值