Fayson的github: https://github.com/fayson/cdhproject
推荐关注微信公众号:“Hadoop实操”,ID:gh_c4c535955d0f,或者扫描文末二维码。
1.概述
本文档讲述如何将Cloudera Manager在Kerberos环境下迁移至新的CM节点。通过本文档,您将学习到以下知识:
1.如何迁移Cloudera Manager节点
2.如何迁移MySQL元数据库
3.如何迁移Kerberos MIT KDC
文档主要分为以下几步:
1.准备Cloudera Manager新节点
2.MariaDB数据库迁移(可选)
3.迁移Kerberos MIT KDC(可选)
4.将原CM节点数据迁移至新节点
5.迁移后集群服务验证
这篇文档将着重介绍Cloudera Manager节点迁移,并基于以下假设:
1.CDH环境已搭建并正常运行
2.旧Cloudera Manager节点包含Cloudera Manager Server(即cloudera-scm-server)服务和Cloudera Management Service服务(Alert Publisher/Event Server/Host Monitor/Reports Manager/Service Monitor)
3.集群已完成MIT Kerberos的配置,并正常使用
4.集群Hadoop服务HBase/Hive/HDFS/Hue/Kafka/Oozie/Spark/Spark2/Yarn/Zookeeper正常运行
以下是本次测试环境,但不是本操作手册的硬限制:
1.操作系统:Redhat7.2
2.CM版本:CM5.11.1
3.CDH版本:CDH5.11.1
4.采用ec2-user对集群进行部署
2.准备Cloudera Manager新节点
2.1.新CM主机前置条件
1.操作系统版本与集群操作系统版本一致(Redhat7.2)
2.关闭防火墙
3.配置时钟同步,根据当前集群时钟同步服务进行配置
4.swap已设置为10
5.关闭透明大页面
6.关闭SElinux
7.配置/etc/hosts文件或者使用DNS服务
8.配置cm和os的yum源
9.创建mysql驱动的软链接
2.2.新主机信息
新主机IP地址:172.31.18.97
新Hostname:ip-172-31-18-97.ap-southeast-1.compute.internal
1.主机操作系统版本
2.防火墙
3.时钟同步
4.swap信息
5.透明大页面
6.SElinux信息
7.host信息
8.Cloudera Manager和OS的yum 源
9.在/usr/share/java目录下创建mysql驱动包软链
2.3.安装Cloudera Manager服务
ec2-user@ip-172-31-18-97 log$ sudo yum -y install cloudera-manager-server cloudera-manager-agent
安装完成Cloudera Manager后暂时不要启动服务。
注意:新节点的Cloudera Manager版本必须与原Cloudera Manager版本一致;节点上不要安装CDH的其它组件;
2.4.安装MariaDB数据库
由于原CM节点安装有MariaDB数据库,所以在新的CM节点也安装MariaDB数据库进行数据迁移(如果不考虑数据库迁移则可以不用安装)
[ec2-user@ip-172-31-18-97 log]$ sudo yum -y install mariadb-server mariadb-devel
初始化MariaDB数据库
[ec2-user@ip-172-31-18-97 log]# sudo systemctl enable mariadb
[ec2-user@ip-172-31-18-97 log]$ sudo systemctl start mariadb
[ec2-user@ip-172-31-18-97 log]$