HBASE集群主节点迁移割接手动操作步骤

已于 2023-09-28 14:15:39 修改
阅读量1k 收藏
点赞数
分类专栏： 大数据运维工作经验 文章标签： hbase 数据库 大数据
于 2023-09-28 14:15:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43005694/article/details/133383200
版权

HBASE集群主节点迁移割接手动操作步骤

HBASE集群主节点指的是包含zk、nn、HM和rm服务的节点，一般这类服务都是一起复用在同一批节点上，我把这一类节点统称为HBASE集群主节点。

本文中使用了rsync、pssh等工具，这类是开源的，自己可以下载安装。还有一类是我自己写的环境变量，xcgraceful_stopRegionserver是用于优雅的停regionserver，建议使用脚本停，有时候可能会出现优雅的停失效的问题。dxshell和xcjpsuser是一些我放在环境变量里面，堡垒机全局生效，脚本内容会附在文章末尾。

一、迁移前准备工作

1、迁移规划

迁移节点		 主机名						目标节点		 角色	 							节点别名
10.168.168.1	hbase01.colabigdata.com		10.168.201.1	zk,nn,dn,jn,ZKFC,HM,HRS,rm,nm	node1
10.168.168.2	hbase02.colabigdata.com		10.168.201.2	zk,nn,dn,jn,ZKFC,HM,HRS,rm,nm	node2
10.168.168.3	hbase03.colabigdata.com		10.168.201.3	zk,dn,jn,HRS,nm					node3
10.168.168.4	hbase04.colabigdata.com		10.168.201.4	zk,dn,jn,HRS,nm					node4
10.168.168.5	hbase05.colabigdata.com		10.168.201.5	zk,dn,jn,HRS,nm					node5

2、生成hosts文件

只包含集群在线的节点，不包含未扩容的。用于迁移过程中，每替换一个IP，需要修改一次/etc/hosts文件。

# vim move_hosts
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

10.168.168.1	hbase01.colabigdata.com
10.168.168.2	hbase02.colabigdata.com
10.168.168.3	hbase03.colabigdata.com
10.168.168.4	hbase04.colabigdata.com
10.168.168.5	hbase05.colabigdata.com
10.168.168.6	hbase06.colabigdata.com
10.168.168.7	hbase07.colabigdata.com
10.168.168.8	hbase08.colabigdata.com
10.168.168.9	hbase09.colabigdata.com
10.168.168.10	hbase10.colabigdata.com

3、准备集群IP列表

此IP列表与hosts是对应关系，用于批量执行命令时使用。

cat > move_list <<EOF
10.168.168.1
10.168.168.2
10.168.168.3
10.168.168.4
10.168.168.5
10.168.168.6
10.168.168.7
10.168.168.8
10.168.168.9
10.168.168.10
EOF

4、准备zk集群IP列表

集群zk在线IP列表(不含新主节点ip)：move_zk_list

cat > move_zk_list <<EOF
10.168.168.1
10.168.168.2
10.168.168.3
10.168.168.4
10.168.168.5
EOF

5、准备除zk集群外IP列表

集群在非zk节点IP列表(不含新主节点ip)：data_list

cat > data_list <<EOF
10.168.168.6
10.168.168.7
10.168.168.8
10.168.168.9
10.168.168.10
EOF

6、准备旧zk集群IP列表

cat > old_zk_list <<EOF
10.168.168.1
10.168.168.2
10.168.168.3
10.168.168.4
10.168.168.5
EOF

7、准备新zk集群IP列表

cat > new_zk_list <<EOF
10.168.201.1
10.168.201.2
10.168.201.3
10.168.201.4
10.168.201.5
EOF

8、目标节点组件安装

五个目标zk节点zookeeper、hdfs、hbase、yarn组件已经提前安装完毕，未启动任何服务。

9、删除cmdb数据，关闭告警和自启脚本

dxshell move_list "userdel -r bdalarm"

dxshell move_list "cd /var/spool/cron;rm -f bdalarm*"

10、关闭主节点dn、nm和rs服务

注意：排除主节点非核心服务，方便迁移

dxshell move_zk_list "su - bigdata -c 'hadoop-daemon.sh stop datanode'"

dxshell move_zk_list "su - yarn -c 'yarn-daemon.sh stop nodemanager'"

#这里是优雅的停Regionserver
xcgraceful_stopRegionserver move_zk_list

###正式开始迁移操作###

二、node5迁移

1、老机器停JN

sudo ssh 10.168.168.5 "su - bigdata -c 'hadoop-daemon.sh stop journalnode'"

sudo ssh 10.168.168.5 "su - bigdata -c 'jps'"

2、老机器停ZK

sudo ssh 10.168.168.5 "su - zookeeper -c 'zkServer.sh stop'"

sudo ssh 10.168.168.5 "su - zookeeper -c 'jps'"

3、老机器改主机名

sudo ssh 10.168.168.5 "hostnamectl set-hostname cola_node5"

4、DNS域名解析变更

使用的域名删除迁移节点IP，变更为目标节点IP。

5、更新/etc/hosts

#将move_list、move_hosts、move_zk_list文件中的 迁移节点IP 修改为目标节点 IP
sed -i 's/10.168.168.5/10.168.201.5/g' move_*

#备份所有节点hosts
sudo pssh -h move_list "cp /etc/hosts /etc/hosts_$(date +%Y%m%d)_movenode5"

#分发全量hosts到move_list列表
sudo pscp.pssh -h move_list move_hosts /etc/hosts

6、依次重启所有zk服务

注意列表IP，不要并发重启

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh stop ; zkServer.sh start'"

7、查看zk服务状态

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh status'"

8、验证zk_followers节点数量

先找到leader节点

echo 'mntr' | nc ${leader} 2015 |grep followers

zk_followers与zk_synced_followers的值相等则正常

9、拷贝node5的jn元数据到目标节点

mkdir baknode5

rsync -e 'sudo ssh' -r 10.168.168.5:/home/bigdata/hadoop/journal baknode5/

rsync -e 'sudo ssh' -r baknode5/journal 10.168.201.5:/home/bigdata/hadoop/

sudo ssh 10.168.201.5 "chown -R bigdata:bigdata /home/bigdata/hadoop"

10、node5目标节点启动JN服务

sudo ssh 10.168.201.5 "su - bigdata -c 'hadoop-daemon.sh start journalnode'"

验证jn同步情况，及日志输出是否正常。namenode的50070页面上查看NameNode Journal Status，Written txid 一致则同步完成。

三、node4迁移

1、老机器停JN

sudo ssh 10.168.168.4 "su - bigdata -c 'hadoop-daemon.sh stop journalnode'"

sudo ssh 10.168.168.4 "su - bigdata -c 'jps'"

2、老机器停ZK

sudo ssh 10.168.168.4 "su - zookeeper -c 'zkServer.sh stop'"

sudo ssh 10.168.168.4 "su - zookeeper -c 'jps'"

3、老机器改主机名

sudo ssh 10.168.168.4 "hostnamectl set-hostname cola_node4"

4、DNS域名解析变更

使用的域名删除迁移节点IP，变更为目标节点IP。

5、更新/etc/hosts

#将move_list、move_hosts、move_zk_list文件中的 迁移节点IP 修改为目标节点 IP
sed -i 's/10.168.168.4/10.168.201.4/g' move_*

#备份所有节点hosts
sudo pssh -h move_list "cp /etc/hosts /etc/hosts_$(date +%Y%m%d)_movenode4"

#分发全量hosts到move_list列表
sudo pscp.pssh -h move_list move_hosts /etc/hosts

6、依次重启所有zk服务

注意列表IP，不要并发重启

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh stop ; zkServer.sh start'"

7、查看zk服务状态

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh status'"

8、验证zk_followers节点数量

先找到leader节点

echo 'mntr' | nc ${leader} 2015 |grep followers

zk_followers与zk_synced_followers的值相等则正常

9、拷贝node4的jn元数据到目标节点

mkdir baknode4

rsync -e 'sudo ssh' -r 10.168.168.4:/home/bigdata/hadoop/journal baknode4/

rsync -e 'sudo ssh' -r baknode4/journal 10.168.201.4:/home/bigdata/hadoop/

sudo ssh 10.168.201.4 "chown -R bigdata:bigdata /home/bigdata/hadoop"

10、node4目标节点启动JN服务

sudo ssh 10.168.201.4 "su - bigdata -c 'hadoop-daemon.sh start journalnode'"

验证jn同步情况，及日志输出是否正常。namenode的50070页面上查看NameNode Journal Status，Written txid 一致则同步完成。

四、第一次nn主备切换

主备切换的目的，是担心nn不是认识新的zk5和zk4，从而有可能导致后续nn迁移失败。做一次nn切换，可以保证active nn在切换后，可以检测认识到新zk5和zk4。这是一种非常保守的做法，只是因为一次生产事故后，做出的一种改变。

1、获取nn1和nn2的状态

sudo ssh 10.168.168.1 "su - bigdata -c 'hdfs haadmin -getServiceState nn1'"
standby

sudo ssh 10.168.168.2 "su - bigdata -c 'hdfs haadmin -getServiceState nn2'"
active

2、重启standby nn服务

sudo ssh 10.168.168.1 "su - bigdata -c 'hadoop-daemon.sh stop namenode'"

sudo ssh 10.168.168.1 "su - bigdata -c 'hadoop-daemon.sh start namenode'"

3、执行主备切换

注意：等待nn退出安全模式后再执行切换。

如下命令是将active nn从nn2切换到nn1

sudo ssh 10.168.168.2 "su - bigdata -c 'hdfs haadmin -failover nn2 nn1'"

五、node3迁移

1、老机器停JN

sudo ssh 10.168.168.3 "su - bigdata -c 'hadoop-daemon.sh stop journalnode'"

sudo ssh 10.168.168.3 "su - bigdata -c 'jps'"

2、老机器停ZK

sudo ssh 10.168.168.3 "su - zookeeper -c 'zkServer.sh stop'"

sudo ssh 10.168.168.3 "su - zookeeper -c 'jps'"

3、老机器改主机名

sudo ssh 10.168.168.3 "hostnamectl set-hostname cola_node3"

4、DNS域名解析变更

使用的域名删除迁移节点IP，变更为目标节点IP。

5、更新/etc/hosts

#将move_list、move_hosts、move_zk_list文件中的 迁移节点IP 修改为目标节点 IP
sed -i 's/10.168.168.3/10.168.201.3/g' move_*

#备份所有节点hosts
sudo pssh -h move_list "cp /etc/hosts /etc/hosts_$(date +%Y%m%d)_movenode3"

#分发全量hosts到move_list列表
sudo pscp.pssh -h move_list move_hosts /etc/hosts

6、依次重启所有zk服务

注意列表IP，不要并发重启

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh stop ; zkServer.sh start'"

7、查看zk服务状态

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh status'"

8、验证zk_followers节点数量

先找到leader节点

echo 'mntr' | nc ${leader} 2015 |grep followers

zk_followers与zk_synced_followers的值相等则正常

9、拷贝node3的jn元数据到目标节点

mkdir baknode3

rsync -e 'sudo ssh' -r 10.168.168.3:/home/bigdata/hadoop/journal baknode3/

rsync -e 'sudo ssh' -r baknode3/journal 10.168.201.3:/home/bigdata/hadoop/

sudo ssh 10.168.201.3 "chown -R bigdata:bigdata /home/bigdata/hadoop"

10、node3目标节点启动JN服务

sudo ssh 10.168.201.3 "su - bigdata -c 'hadoop-daemon.sh start journalnode'"

验证jn同步情况，及日志输出是否正常。namenode的50070页面上查看NameNode Journal Status，Written txid 一致则同步完成。

注意：如果长时间同步一不一致，可以尝试把正确jn数据重新复制一份到新节点。

六、node2迁移

先确认namenode的active和standby分布在那个节点上。如果node1是active，node2是standby，必须先迁移standby。

迁移到目前为止，当前主节点列表应该和如下一致。

10.168.168.1	hbase01.colabigdata.com
10.168.168.2	hbase02.colabigdata.com
10.168.201.3	hbase03.colabigdata.com
10.168.201.4	hbase04.colabigdata.com
10.168.201.5	hbase05.colabigdata.com

1、获取nn1和nn2的状态

sudo ssh 10.168.168.1 "su - bigdata -c 'hdfs haadmin -getServiceState nn1'"
standby

sudo ssh 10.168.168.2 "su - bigdata -c 'hdfs haadmin -getServiceState nn2'"
active

2、先停standby nn节点的zkfc

sudo ssh 10.168.168.2 "su - bigdata -c 'hadoop-daemon.sh stop zkfc'"

3、再停active nn节点的zkfc

sudo ssh 10.168.168.1 "su - bigdata -c 'hadoop-daemon.sh stop zkfc'"

注意：如果当前standby为node2，就先操作node2节点的迁移，原则上先操作standby节点。

注：如果node2不是standby，建议提前将node2切换为standby。因为操作步骤中是按照node5~node1顺序迁移写的，如果现场改操作内容，可能会导致操作变复杂。

4、停node2节点所有服务

sudo ssh 10.168.168.2 "su - yarn -c 'yarn-daemon.sh stop resourcemanager'"
sudo ssh 10.168.168.2 "su - yarn -c 'mr-jobhistory-daemon.sh stop historyserver'"
sudo ssh 10.168.168.2 "su - hbase -c 'hbase-daemon.sh stop master'"
sudo ssh 10.168.168.2 "su - bigdata -c 'hadoop-daemon.sh stop journalnode'"
sudo ssh 10.168.168.2 "su - bigdata -c 'hadoop-daemon.sh stop namenode'"
sudo ssh 10.168.168.2 "su - zookeeper -c 'zkServer.sh stop'"

5、老机器改主机名

sudo ssh 10.168.168.2 "hostnamectl set-hostname cola_node2"

6、DNS域名解析变更

使用的域名删除迁移节点IP，变更为目标节点IP。

7、更新/etc/hosts

#将move_list、move_hosts、move_zk_list文件中的 迁移节点IP 修改为目标节点 IP
sed -i 's/10.168.168.2/10.168.201.2/g' move_*

#备份所有节点hosts
sudo pssh -h move_list "cp /etc/hosts /etc/hosts_$(date +%Y%m%d)_movenode2"

#分发全量hosts到move_list列表
sudo pscp.pssh -h move_list move_hosts /etc/hosts

8、备份JN元数据、NN元数据fsimage和editlog日志

mkdir baknode2

rsync -e 'sudo ssh' -r 10.168.168.2/home/bigdata/hadoop/journal baknode2/

rsync -e 'sudo ssh' -r 10.168.168.2:/metadata/namenode baknode2/

rsync -e 'sudo ssh' -r 10.168.168.2:/log/bigdata/hdfs-audit.log baknode2/

9、拷贝JN元数据、NN元数据到新节点

# 拷贝JN元数据到新节点
rsync -e 'sudo ssh' -r baknode2/journal 10.168.201.2:/home/bigdata/hadoop/

sudo ssh 10.168.201.2 "chown -R bigdata:bigdata /home/bigdata/hadoop"

# 拷贝NN元数据到新节点
sudo ssh 10.168.201.2 "mkdir /log/bigdata"

rsync -e 'sudo ssh' -r baknode2/namenode 10.168.201.2:/metadata/

sudo ssh 10.168.201.2 "chown -R bigdata:bigdata /metadata/namenode"

rsync -e 'sudo ssh' -r baknode2/hdfs-audit.log 10.168.201.2:/home/bigdata/hadoop/

sudo ssh 10.168.201.2 "chown -R bigdata:bigdata /log"

sudo ssh 10.168.201.2 "su - bigdata -c 'cd hadoop;ln -nsf /log/bigdata logs; ln -nsf /metadata/namenode namenode'"

10、新机器启动 journalnode 和 namenode

sudo ssh 10.168.201.2 "su - bigdata -c 'hadoop-daemon.sh start journalnode'"

sudo ssh 10.168.201.2 "su - bigdata -c 'hadoop-daemon.sh start namenode'"

a、验证jn同步情况，及日志输出是否正常。namenode的50070页面上查看NameNode Journal Status，Written txid 一致则同步完成。

b、验证standby文件数和block数与active是否一致，是否实时更新，不断观察日志，当standby nn 进入safemode后如有异常，立即停止standby nn进程，确认问题原因。

c、实时观察dn日志Block report是否报错（进入安全模式之后）。

11、依次重启所有zk服务

注意列表IP，不要并发重启

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh stop ; zkServer.sh start'"

12、查看zk服务状态

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh status'"

13、验证zk_followers节点数量

先找到leader节点

echo 'mntr' | nc ${leader} 2015 |grep followers

zk_followers与zk_synced_followers的值相等则正常

14、新机器启动HMaster

sudo ssh 10.168.201.2 "su - hbase -c 'hbase-daemon.sh start master'"

查看16010界面master状态是否正常

15、新机器启动ResourceManager和historyserver服务

sudo ssh 10.168.201.2 "su - yarn -c 'yarn-daemon.sh start resourcemanager'"

sudo ssh 10.168.201.2 "su - yarn -c 'mr-jobhistory-daemon.sh start historyserver'"

16、重启node1节点HMaster服务

sudo ssh 10.168.168.1 "su - hbase -c 'hbase-daemon.sh stop master'"
sudo ssh 10.168.168.1 "su - hbase -c 'hbase-daemon.sh start master'"

17、重启node1节点ResourceManager服务

sudo ssh 10.168.168.1 "su - yarn -c 'yarn-daemon.sh stop resourcemanager && sleep 10s && yarn-daemon.sh start resourcemanager'"

18、第一次滚动重启客户端服务

重启regionserver，datanode、nodemanager服务。所有数据节点在 data_list文件中。

dxshell data_list "su - hbase -c 'hbase-daemon.sh restart regionserver'"

xcjpsuser data_list hbase

dxshell data_list "su - bigdata -c 'hadoop-daemon.sh stop datanode && hadoop-daemon.sh start datanode'"

xcjpsuser data_list bigdata

dxshell data_list "su - yarn -c 'yarn-daemon.sh stop nodemanager && yarn-daemon.sh start nodemanager'"

xcjpsuser data_list yarn

七、第二次nn主备切换

这一次主备切换，主要是为了将active nn切换至新节点，检验新节点是否可以切换成功。第二个目的是将node1变为standby，减少node1迁移的影响。

1、获取nn1和nn2的状态

sudo ssh 10.168.168.1 "su - bigdata -c 'hdfs haadmin -getServiceState nn1'"
active

sudo ssh 10.168.201.2 "su - bigdata -c 'hdfs haadmin -getServiceState nn2'"
standby

2、启动zkfc

sudo ssh 10.168.168.1 "su - bigdata -c 'hadoop-daemon.sh start zkfc'"

sudo ssh 10.168.201.2 "su - bigdata -c 'hadoop-daemon.sh start zkfc'"

3、新节点10.168.201.2生成秘钥

su - bigdata

#一路回车
ssh-keygen -t rsa

#在.ssh目录下，新建authorized_keys文件
touch  ~/.ssh/authorized_keys

#修改权限，.ssh必须是700，authorized_keys必须是600。否则可能会提醒你输入密码，免密不成功。
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

4、做nn1和nn2互密

将彼此的 ~/.ssh/id_rsa.pub公钥文件内容 --> 追加到~/.ssh/authorized_keys文件中

5、执行主备切换

本次不用等fsimage元数据合并了，只要该节点jn有edits新数据就可以了。

# nn1 to nn2（根据实际情况）
sudo ssh 10.168.201.2 "su - bigdata -c 'hdfs haadmin -failover nn1 nn2'"

6、验证主备切换是否成功

curl -s 'http://10.168.168.1:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem' |jq -r .beans[0].'"tag.HAState"'

curl -s 'http://10.168.201.2:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem' |jq -r .beans[0].'"tag.HAState"'

八、node1迁移

先确认namenode的active和standby分布在那个节点上。node1是最后一个节点了，此刻该节点是standby才对，如果不对，那就是你漏了什么步骤。建议手动切换后，再迁移。

迁移到目前为止，当前主节点列表应该和如下一致。

10.168.168.1	hbase01.colabigdata.com
10.168.201.2	hbase02.colabigdata.com
10.168.201.3	hbase03.colabigdata.com
10.168.201.4	hbase04.colabigdata.com
10.168.201.5	hbase05.colabigdata.com

1、获取nn1和nn2的状态

sudo ssh 10.168.168.1 "su - bigdata -c 'hdfs haadmin -getServiceState nn1'"
active

sudo ssh 10.168.201.2 "su - bigdata -c 'hdfs haadmin -getServiceState nn2'"
standby

2、先停standby nn节点的zkfc

sudo ssh 10.168.168.1 "su - bigdata -c 'hadoop-daemon.sh stop zkfc'"

3、再停active nn节点的zkfc

sudo ssh 10.168.201.2 "su - bigdata -c 'hadoop-daemon.sh stop zkfc'"

4、停node1节点所有服务

sudo ssh 10.168.168.1 "su - yarn -c 'yarn-daemon.sh stop resourcemanager'"
sudo ssh 10.168.168.1 "su - hbase -c 'hbase-daemon.sh stop master'"
sudo ssh 10.168.168.1 "su - bigdata -c 'hadoop-daemon.sh stop journalnode'"
sudo ssh 10.168.168.1 "su - bigdata -c 'hadoop-daemon.sh stop namenode'"
sudo ssh 10.168.168.1 "su - zookeeper -c 'zkServer.sh stop'"

5、老机器改主机名

sudo ssh 10.168.168.1 "hostnamectl set-hostname cola_node1"

6、DNS域名解析变更

使用的域名删除迁移节点IP，变更为目标节点IP。

7、更新/etc/hosts

#将move_list、move_hosts、move_zk_list文件中的 迁移节点IP 修改为目标节点 IP
sed -i 's/10.168.168.1/10.168.201.1/g' move_*

#备份所有节点hosts
sudo pssh -h move_list "cp /etc/hosts /etc/hosts_$(date +%Y%m%d)_movenode1"

#分发全量hosts到move_list列表
sudo pscp.pssh -h move_list move_hosts /etc/hosts

8、备份JN元数据、NN元数据fsimage和editlog日志

mkdir baknode1

rsync -e 'sudo ssh' -r 10.168.168.1:/home/bigdata/hadoop/journal baknode1/

rsync -e 'sudo ssh' -r 10.168.168.1:/metadata/namenode baknode1/

rsync -e 'sudo ssh' -r 10.168.168.1:/log/bigdata/hdfs-audit.log baknode1/

9、拷贝JN元数据、NN元数据到新节点

# 拷贝JN元数据到新节点
rsync -e 'sudo ssh' -r baknode1/journal 10.168.201.1:/home/bigdata/hadoop/

sudo ssh 10.168.201.1 "chown -R bigdata:bigdata /home/bigdata/hadoop"

# 拷贝NN元数据到新节点
sudo ssh 10.168.201.1 "mkdir /log/bigdata"

rsync -e 'sudo ssh' -r baknode1/namenode 10.168.201.1:/metadata/

sudo ssh 10.168.201.1 "chown -R bigdata:bigdata /metadata/namenode"

rsync -e 'sudo ssh' -r baknode1/hdfs-audit.log 10.168.201.1:/home/bigdata/hadoop/

sudo ssh 10.168.201.1 "chown -R bigdata:bigdata /log"

sudo ssh 10.168.201.1 "su - bigdata -c 'cd hadoop;ln -nsf /log/bigdata logs; ln -nsf /metadata/namenode namenode'"

10、新机器启动 journalnode 和 namenode

sudo ssh 10.168.201.1 "su - bigdata -c 'hadoop-daemon.sh start journalnode'"

sudo ssh 10.168.201.1 "su - bigdata -c 'hadoop-daemon.sh start namenode'"

a、验证jn同步情况，及日志输出是否正常。namenode的50070页面上查看NameNode Journal Status，Written txid 一致则同步完成。

b、验证standby文件数和block数与active是否一致，是否实时更新，不断观察日志，当standby nn 进入safemode后如有异常，立即停止standby nn进程，确认问题原因。

c、实时观察dn日志Block report是否报错（进入安全模式之后）。

11、依次重启所有zk服务

注意列表IP，不要并发重启

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh stop ; zkServer.sh start'"

12、查看zk服务状态

dxshell move_zk_list "su - zookeeper -c 'zkServer.sh status'"

13、验证zk_followers节点数量

先找到leader节点

echo 'mntr' | nc ${leader} 2015 |grep followers

zk_followers与zk_synced_followers的值相等则正常

14、新机器启动HMaster

sudo ssh 10.168.201.1 "su - hbase -c 'hbase-daemon.sh start master'"

查看16010界面master状态是否正常

15、新机器启动ResourceManager

sudo ssh 10.168.201.1 "su - yarn -c 'yarn-daemon.sh start resourcemanager'"

16、重启node2节点HMaster服务

sudo ssh 10.168.201.2 "su - hbase -c 'hbase-daemon.sh stop master'"
sudo ssh 10.168.201.2 "su - hbase -c 'hbase-daemon.sh start master'"

17、重启node2节点ResourceManager服务

sudo ssh 10.168.201.2 "su - yarn -c 'yarn-daemon.sh stop resourcemanager ; yarn-daemon.sh start resourcemanager'"

18、第二次滚动重启客户端服务

重启regionserver，datanode、nodemanager服务。所有数据节点在 data_list文件中。

dxshell data_list "su - hbase -c 'hbase-daemon.sh restart regionserver'"

xcjpsuser data_list hbase

dxshell data_list "su - bigdata -c 'hadoop-daemon.sh stop datanode && hadoop-daemon.sh start datanode'"

xcjpsuser data_list bigdata

dxshell data_list "su - yarn -c 'yarn-daemon.sh stop nodemanager && yarn-daemon.sh start nodemanager'"

xcjpsuser data_list yarn

九、第三次nn主备切换

这一次主备切换，主要是为了将active nn切换至node1新节点，检验最后一个新节点是否可以切换成功。

1、获取nn1和nn2的状态

sudo ssh 10.168.201.1 "su - bigdata -c 'hdfs haadmin -getServiceState nn1'"
standby

sudo ssh 10.168.201.2 "su - bigdata -c 'hdfs haadmin -getServiceState nn2'"
active

2、启动zkfc

sudo ssh 10.168.201.1 "su - bigdata -c 'hadoop-daemon.sh start zkfc'"

sudo ssh 10.168.201.2 "su - bigdata -c 'hadoop-daemon.sh start zkfc'"

3、新节点10.168.201.1生成秘钥

su - bigdata

#一路回车
ssh-keygen -t rsa

#在.ssh目录下，新建authorized_keys文件
touch  ~/.ssh/authorized_keys

#修改权限，.ssh必须是700，authorized_keys必须是600。否则可能会提醒你输入密码，免密不成功。
chmod 700 ~/.ssh
chmod 600 ~/.ssh/authorized_keys

4、做nn1和nn2互密

将彼此的 ~/.ssh/id_rsa.pub公钥文件内容 --> 追加到~/.ssh/authorized_keys文件中

5、执行主备切换

本次不用等fsimage元数据合并了，只要该节点jn有edits新数据就可以了。

但这是最后一次主备切换，standby节点会在一个小时之后生成一个新的fsimage文件，并同步到active节点。

# nn2 to nn1（根据实际情况）
sudo ssh 10.168.201.1 "su - bigdata -c 'hdfs haadmin -failover nn2 nn1'"

6、验证主备切换是否成功

curl -s 'http://10.168.201.1:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem' |jq -r .beans[0].'"tag.HAState"'

curl -s 'http://10.168.201.2:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystem' |jq -r .beans[0].'"tag.HAState"'

7、主节点启动datanode服务

sudo pssh -h move_zk_list "su - bigdata -c 'hadoop-daemon.sh start datanode'"

8、主节点启动regionserver服务

sudo pssh -h move_zk_list "su - hbase -c 'hbase-daemon.sh start regionserver'"

9、主节点启动nodemanager服务

sudo pssh -h move_zk_list "su - yarn -c 'yarn-daemon.sh start nodemanager'"

10、观察fsimage元数据是否生成

因为到目前为止，主节点服务迁移已经完成了。这里有最后一次主备切换，standby nn节点会在一个小时之后生成一个新的fsimage文件，并同步到active nn节点上。所以一定要观察standby nn和active nn是否有新的fsimage文件。

十、缩容需要下线的数据节点

老数据节点HRegionServer，nodemanager，dn要decommission

#olddata 添加需要下线的IP列表
cat > olddata <<EOF
10.168.168.6
10.168.168.7
10.168.168.8
10.168.168.9
10.168.168.10
EOF

#优雅的停hregionserver
xcgraceful_stopRegionserver olddata
xcjpsuser olddata hbase

#停nodemanager
dxshell olddata "su - yarn -c 'yarn-daemon.sh stop nodemanager'"
xcjpsuser olddata yarn

#decommission做dn节点
#登录主节点
sudo ssh 10.168.201.1
#备份配置文件
su - bigdata
cd software/hadoop/etc/hadoop/
cp exclude exclude_$(date +%Y%m%d)
#添加下线节点
vi exclude
#刷新生效
hdfs dfsadmin -refreshNodes

#登录主节点
sudo ssh 10.168.201.2
#备份配置文件
su - bigdata
cd software/hadoop/etc/hadoop/
cp exclude exclude_$(date +%Y%m%d)
#添加下线节点
vi exclude
#刷新生效
hdfs dfsadmin -refreshNodes

附：脚本

这一类脚本就是平时总结通用的内容，存放在堡垒机环境变量路径下，方便随时可以调用。

1、dxshell脚本

#!/bin/bash
# Author : LJ
# Date   : 2021/10/11
# Func   : 通用批处理查询。

if [ $# -lt 2 ]
then
	echo -e "\033[1;31m 参数不足，请重新执行... \033[0m"
	echo -e "\033[1;32m 此脚本传参使用方法：$0 第一个参数为待查询的ip列表文件名 第二个参数为等待执行的shell命令,命令中如果有“$”,注意转译。 \033[0m"
	exit ;
fi
workdir=`pwd`

list=$1
list_ip=`cd ${workdir};cat $list|awk '{print $1}'`
#此脚本适用于通用查询，用户就在root下就可以。
user=

xcommand=$2

sum=`cat $list|sed '/^$/d'|wc -l`
num=1


for ip in ${list_ip[@]} ; do
        echo -e "\033[1;31m$num\033[1;32m/$sum	=============== $ip 节点 \033[1;33m执行命令：${xcommand} \033[1;32m返回结果如下: =============== \033[0m"
        sudo ssh $ip -C "${xcommand}" 
	let num++
done

2、xcjpsuser脚本

#!/bin/bash
if [ $# -lt 2 ]
then
        echo -e "\033[1;31m 参数不足，请重新执行... \033[0m"
        echo -e "\033[1;32m 此脚本传参使用方法：$0 第一个参数为待查询的ip列表文件名 第二个参数为有jdk的用户,用于执行jps命令 \033[0m"
        exit ;
fi
workdir=`pwd`

list=$1
list_ip=`cd ${workdir};cat $list|awk '{print $1}'`
user=$2

sum=`cat $list|sed '/^$/d'|wc -l`
num=1

for ip in ${list_ip[@]} ; do
	echo -e "\033[1;31m$num\033[1;32m/$sum	 =============== $ip 节点 $user 用户下 现有java进程 =============== \033[0m"
        sudo ssh $ip -C "su - $user -c 'jps|grep -v Jps'" 
	let num++
done

3、xcgraceful_stopRegionserver脚本

#!/bin/bash
# Author : LJ
# Date   : 2023/3/15
# Func   : 批量优雅的停一批节点HRegionServer服务

if [ $# -lt 1 ]
then
	echo -e "\033[1;31m 参数不足，请重新执行... \033[0m"
	echo -e "\033[1;32m 此脚本传参使用方法：$0 第一个参数为待查询的ip列表文件名 \033[0m"
	exit ;
fi
#workdir=`pwd`
list_ip="$1"
#sum记录节点个数
sum=`cat "${list_ip}"|wc -l`
#使用stop_count数组，用于记录stop次数，次数用于初始化赋值
for (( i=0; i<"$sum"; i=i+1 )) ; do
	stop_count[i]=0
done
#对ip进行遍历执行stop，stop不成功的节点会使用数组i--进行再次重试。如果重试大于5次，直接使用kill -9 stop。
for (( i=0; i<"$sum"; i=i+1 )) ; do
	let num=${i}+1
	let stop_count[i]++
	arr[i]=`sed -n "${num}p" ${list_ip}`
	ip="${arr[i]}"
	#操作第一实例 HRegionServer
	rg1_wc=`sudo ssh $ip -C "ps -ef|grep -w '/home/hbase/logs'|grep -w 'org.apache.hadoop.hbase.regionserver.HRegionServer'|grep -v grep|wc -l"`
        if [ "${rg1_wc}" -eq 1 ] ; then
                echo -e "\033[1;31m$num\033[1;32m/$sum 开始 第 ${stop_count[i]} 次优雅的停 ${ip} 节点的 HRegionServer1 服务 执行时间: $(date +%Y-%m-%d\ %H:%M:%S) \033[0m"
		sudo ssh $ip -C 'su - hbase -c "graceful_stop.sh --maxthreads 32 -e `hostname` "' >/dev/null 2>&1
		sleep 30
        fi
	#操作第二实例 HRegionServer
        rg2_wc=`sudo ssh $ip -C "ps -ef|grep -w '/home/hbase/logs2'|grep -w 'org.apache.hadoop.hbase.regionserver.HRegionServer'|grep -v grep|wc -l"`
        if [ "${rg2_wc}" -eq 1 ] ; then
		echo -e "\033[1;31m$num\033[1;32m/$sum 开始 第 ${stop_count[i]} 次优雅的停 ${ip} 节点的 HRegionServer2 服务 执行时间: $(date +%Y-%m-%d\ %H:%M:%S) \033[0m"
                sudo ssh $ip -C 'su - hbase -c "graceful_stop.sh --config /home/hbase/software/hbase/conf2 --maxthreads 32 -e `hostname` "' >/dev/null 2>&1
		sleep 30
        fi
	#stop操作结果检查，只要还存在 HRegionServer 进程，就返回继续执行本节点stop操作
	check_rg_wc=`sudo ssh $ip -C 'su - hbase -c "jps|grep -i HRegionServer"|wc -l'`
        #判断是否还要 HRegionServer 进程
        if [ "${check_rg_wc}" -ne 0 ] ; then
                if [ "${stop_count[i]}" -gt 5 ] ; then
                        echo -e "\033[1;31m$num\033[1;32m/$sum \033[1;33m 优雅的停第 ${stop_count[i]} 没成功，重试次数大于5次，跳过本节点操作 执行时间: $(date +%Y-%m-%d\ %H:%M:%S) \033[0m"
                        echo "${ip}"
                else
                        let i--
                fi
        else
                echo -e "\033[1;31m$num\033[1;32m/$sum \033[1;33m ${ip} 节点(已经)无 HRegionServer 服务 执行时间: $(date +%Y-%m-%d\ %H:%M:%S) \033[0m"
        fi
done
可乐大数据
关注
专栏目录
中台实践：数据中台建设五步法
.
01-27 7099
数据中台这个东西，现在业界并没有一个完整的标准定义，数据中台至少首先是一个分布式的数据仓库，同时包含相对应实施的方法论和方案，介于分布式数据仓库和企业全面数据化中间的任意一个点都可以被定义为数据中台。 可以说，数据中台是实现企业全面数据化的一个解决方案，是一套支撑企业全面数据化的架构，会成为企业开展全面数据化的基础设施。 （1）中台是什么？ 企业级能力复用平台！ （2）如何构建中台？ 以用户为中心，从战略入手，愿景为指引，用科学有效的方法，步步为营沉淀企业级能力...
阿里云如何打破Oracle迁移上云的壁垒
weixin_33754065的博客
05-22 355
2018第九届中国数据库技术大会，阿里云数据库产品专家萧少聪带来以阿里云如何打破Oracle迁移上云的壁垒为题的演讲。Oracle是指“数据库管理系统”，面对Oracle迁移上云的壁垒，阿里云如何能够打破它呢？本文提出了Oracle 到云数据库PPAS迁移的方案，这种迁移方案为什么比Oracle到 MySQL系列的迁移容易推动呢？答案即将揭晓。数十款阿里...
千亿级数据量kafka集群性能调优实战总结
gaofeng的博客
07-03 6693
1、（千亿级kafka集群性能调优）集群信息 一个kafka集群，40台broker，基于Ambari,hdp管理（ambari_v2.5,hdp_v2.6） 10台broker配置5块3T盘 30台broker配置12块6T盘 每天所有生产端产生2000亿条左右的数据 消费端有SparkStreaming,Flume等业务程序 2、 第一次故障现象 生产环境flume无法消费kafka，sink的文件为空。 nifi中往kafka写消息报错 ISR缺失严重 3、第一次故障排查 元数据主
车联网上云最佳实践（三）
A1373712651的博客
09-07 1560
云上部署实践详解 上章节介绍完云上应用架构及产品选型，接下来本章将重点介绍下上云迁移的实践过程。在实际迁移过程中甚至会更加具体。由于文章内容已经很多了，所以在接下来实践迁移过程中会有部分内容会省略。先介绍一下整体迁移流程： image013 迁移整个应用到阿里云涉及到几个阶段，首先是数据库配置和数据迁移，然后是基础服务的部署，例如Dubbo服务和消息队列服务以及存储服务，其次是应用部署和配置...
【Redis】《Redis 开发与运维》笔记-汇总
江湖人称菠萝包
04-24 1575
1、Redis提供了两种持久化方式：RDB和AOF，即可以用这两种策略将内存的数据保存到硬盘中。2、复制功能是分布式Redis的基础。3、一般推荐使用的安装方式：源码的方式进行安装。下面以3.0.7版本为例(只需6步)： 建立一个redis目录的软链接是为了不把redis目录固定在指定版本上，有利于Redis未来版本升级，算是安装软件的一个好习惯。 第6步的安装是将Redis的相关运行文件放到/usr/local/bin/下，这样就可以在任意目录下执行Redis的命令。 4、Redis可执行文件说明5、
数据库相关中间件
王树钰的博客
11-17 5012
这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题： 为海量前台数据提供高性能、大容量、高可用性的访问 为数据变更的消费提供准实时的保障 高效的异地数据同步 应用层通过分表分库中间件访问数据库，包括读操作（Select）和写操作（update, insert和delete等，DDL, DCL）
数据库相关中间件介绍
vipmy630的专栏
05-30 330
数据库相关中间件介绍 详见：http://blog.yemou.net/article/query/info/tytfjhfascvhzxcyt412 这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题： 为海量前台数据提供高性能、大容量、高可用性的访问 为数据变更的消费提供准实时的保障 高效的异地...
2022 面试宝典
wmq930626的博客
07-05 2304
其实就是问问你消息队列都有哪些使用场景，然后你项目里具体是什么场景，说说你在这个场景里用消息队列是什么？面试官问你这个问题，期望的一个回答是说，你们公司有个什么业务场景，这个业务场景有个什么技术挑战，如果不用 MQ 可能会很麻烦，但是你现在用了 MQ 之后带给了你很多的好处。先说一下消息队列常见的使用场景吧，其实场景有很多，但是比较核心的有 3 个：解耦、异步、削峰。看这么个场景。A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负
数据库相关中间件收录集
热门推荐
朱小厮的博客
10-09 2万+
数据库中间件 这里主要介绍互联网行业内有关数据库的相关中间件。数据库相关平台主要解决以下三个方面的问题： 为海量前台数据提供高性能、大容量、高可用性的访问 为数据变更的消费提供准实时的保障 高效的异地数据同步 应用层通过分表分库中间件访问数据库，包括读操作（Select）和写操作（update, insert和delete等，DDL, DCL）。写操作会在数据库上产生变更记录，MySQL...
hbase安装，节点添加，移除，常见问题解决
07-30
1. 添加节点：在新节点上完成HBase的安装和配置，然后将该节点加入到Hadoop集群中。更新HBase的`regionservers`文件，添加新节点的主机名。重启HMaster服务，HBase会自动分配工作负载到新节点。 2. 移除节点：在...
Hbase集群部署.pdf
07-27
部署HBase集群的前提条件包括：至少需要三台虚拟机来创建一个伪集群环境，操作系统为Ubuntu11.04，JDK版本为7或以上，因为较旧版本的JDK不支持Hadoop集群的运行。Hadoop版本选择为1.0.2，HBase版本为0.94.0，并且这...
hadoop及hbase集群增加节点
duanbiren123的博客
07-08 2890
老的集群服务器：192.168.11.131 master1192.168.11.132 master2192.168.11.133 slave1192.168.11.134 slave2192.168.11.135 slave3新加入的节点：192.168.11.136 slave4192.168.11.137 slave5一、hadoop扩容1、配置各节点hosts文件，加入新加入的两个节点的...
HBase跨集群迁移
大数据之路
07-09 1775
背景：假设有hbase1和hbase2两个集群，现在需要将hbase1的表迁移到hbase2，而且不能停止服务的运行。 准备工作 开启hbase.replication功能 设置hbase-site.xml中hbase.replication为true 开启待复制集群的Yarn计算，后续拷贝数据基于MR 开始迁移 1.hbase2集群建表(click-count’在hbase1是已经存在的...
Hbase集群部署（三个节点）
weixin_45870145的博客
11-25 7074
概述 HBASE – HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩、 实时读写的分布式数据库 – 利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理 HBase中的海量数据,利用Zookeeper作为其分布式协同服务 – 主要用来存储非结构化和半结构化的松散数据（列存NoSQL数据库） Hbase的架构图如下所示 1...
【大数据学习 | HBASE】hbase的原理与组成结构
2301_80912559的博客
10-30 1074
比如info列就会存储到一个单独的hfile文件中，但是hbase中存储的数据会非常的多，那么一个列单独保存在一个hfile中，也是难管理和查询的，所以按照行级别进行数据的分割存储到不同的文件中，这样可以非常快速的检索出来数据，但是不能够解决掉数据的修改问题，因为底层是hdfs的存储，这样是没有办法灵活修改和变化的，这个时候。，用来记录我们在hbase中创建了多少个表，并且每个表存在多少个列，这样就可以实现表格级别的使用和管理，并且会将表格的数据放入到hdfs中存储，为了方便查询和管理会。
oceanbase V4.2.2社区版集群离线部署
最新发布
king_harry的专栏
11-01 675
版本，选择是上传文件，包含oceanbase-ce、oceanbase-ce-libs、oceanbase-ce-utils。关闭时展示，为 OBProxy 集群的访问地址，仅用于生成租户的连接串，不影响实际使用，需要自主配置负载均衡，如果是 VIP 地址，还需要您自主申请并绑定到 OBProxy Server。集群配置选项卡—更多配置—更改系统内存保留选项，默认是30G，如果测试机内存只有16G，则需要调小，本测试调整为2G，这样ocp-server安装不会失败。自定义待管理的集群的名称。
基于vue框架的的汇生活家居商城的设计与实现bdjlq（程序+源码+数据库+调试部署+开发环境）系统界面在最后面。
h2345678的博客
10-29 1367
项目功能：商品分类,商品信息,用户。
JAVA 插入 JSON 对象到 PostgreSQL
qq_52143611的博客
10-30 850
在现代软件开发中，由于 JSON 数据的轻量和通用性，处理 JSON 数据已经变得无处不在。PostgreSQL凭借其对 JSON 的强大支持，为存储和查询 JSON 数据提供了出色的平台。为了将JSON数据保存到PostgreSQL数据库中，我们可以将JSON数据转换为PostgreSQL的JSONB类型数据，然后将其存储在数据库中。在Java中，我们可以使用JDBC或者基于ORM框架的方式来实现这一功能。
JAVA中的MVC三层架构
楠寻寻的博客
10-30 1004
MVC（Model-View-Controller）是一种软件设计模式，用于将应用程序分为主要的部分：模型（Model）、视图（View）和控制器（Controller）。这种架构有助于提高代码的可维护性和可扩展性。Spring框架通过@Controller@Service和注解清晰地划分了MVC三层架构的各个层次，使得开发人员能够更高效地构建和维护复杂的Web应用。POJO类：用于表示业务实体，通常包含属性和相关的getter/setter方法。DAO类：用于封装对数据库的操作，提供数据访问的接口。
Cygwin下三节点HBase集群搭建教程
本文将详细介绍如何在Windows环境下，利用CYGWIN工具搭建HBASE集群，主要针对三台机器的步骤进行说明。首先，准备工作包括选择至少三台在同一机架的Windows机器，建议使用管理员权限登录，且确保各机器间通过域名...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值