集群环境
mimo41 | mimo42 | mimo56 |
mimo41为主节点
1.CM升级
- 下载cm安装包:
cloudera-manager-CentOS7-cm5.12.0_x86_64.tar.gz
当前版本下载地址:
https://archive.cloudera.com/cm5/cm/5/cloudera-manager-centos7-cm5.12.0_x86_64.tar.gz
所有版本下载地址:
https://www.cloudera.com/documentation/enterprise/release-notes/topics/cm_vd.html
-
解压安装包
[root@mimo41 ~]# tar -zxvf cloudera-manager-centos7-cm5.12.0\_x86\_64.tar.gz
解压得两个文件夹
cm-5.12.0
和cloudera
, 后者不需要修改, 当前需要所有核心的东西都在这,此时我们只需要更新cm-5.12.0
,[root@mimo41 ~]# cd /root/cm-5.12.0/etc/cloudera-scm-agent [root@mimo41 cloudera-scm-agent]# vim config.ini
修改
server_host
和server_port
两个属性值,此处端口使用的默认端口,只需要修改server_host=mimo41
即可,将目录移到/opt
下[root@mimo41 ~]# mv cm-5.12.0/ /opt
将
cm-5.12.0
拷贝到集群的其他两台机器上[root@mimo41 opt]# scp -r cm-5.12.0/ mimo42:/opt/ [root@mimo41 opt]# scp -r cm-5.12.0/ mimo56:/opt/
-
基本工作准备完毕,下一步需要将老集群CM的配置信息同步到新集群CM,两部分信息需要同步:
-
server的数据库信息
覆盖默认的
db.properties
文件[root@mimo41 opt]# cp ./cm-5.11.0/etc/cloudera-scm-server/db.properties ./cm-5.12.0/etc/cloudera-scm-server/
-
agent的uuid信息
拷贝
uuid
和cm_guid
(cm_guid文件还不确定作用) 文件[root@mimo41 opt]# cp /opt/cm-5.11.0/lib/cloudera-scm-agent/*uid /opt/cm-5.12.0/lib/cloudera-scm-agent [root@mimo42 opt]# cp /opt/cm-5.11.0/lib/cloudera-scm-agent/*uid /opt/cm-5.12.0/lib/cloudera-scm-agent [root@mimo56 opt]# cp /opt/cm-5.11.0/lib/cloudera-scm-agent/*uid /opt/cm-5.12.0/lib/cloudera-scm-agent
-
-
关闭集群服务和CM的server和agent服务
-
通过cm界面关闭集群服务和CM服务
[root@mimo41 init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-server stop [root@mimo41 init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop [root@mimo42 init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop [root@mimo56 init.d]# /opt/cm-5.11.0/etc/init.d/cloudera-scm-agent stop
验证服务都已经正常关闭
ps -ef | grep cloudera-scm-server | grep -v grep ps -ef | grep cloudera-scm-agent | grep -v grep
-
unmount进程挂载点
[root@mimo41 init.d]# umount /opt/cm-5.11.0/run/cloudera-scm-agent/process [root@mimo42 init.d]# umount /opt/cm-5.11.0/run/cloudera-scm-agent/process [root@mimo56 init.d]# umount /opt/cm-5.11.0/run/cloudera-scm-agent/process
-
通过新版本CM启动server和agent服务
[root@mimo41 ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-server start [root@mimo41 ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start [root@mimo42 ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start [root@mimo56 ~]# /opt/cm-5.12.0/etc/init.d/cloudera-scm-agent start
-
打开CM管理网址,登录进去
网页右上角,点击
关于
,显示5.12.0
版本 ,表示CM升级成功
-
2.CDH升级
- 准备工作(如果网速不是特别好的话,提前下载好Parcel文件,放到
/opt/cloudera/parcel-repo
目录下),下载方式:
![](https://i-blog.csdnimg.cn/blog_migrate/f9714a211314cab972f7b19cef1b4231.png)
![](https://i-blog.csdnimg.cn/blog_migrate/dfe713451de4f6ef1a0885f16fb95ae7.png)
具体安装步骤如下:
![](https://i-blog.csdnimg.cn/blog_migrate/b9a8c09675d2a0d65a91b4e8eedfb150.png)
本次升级由于集群中没什么数据,所以就没备份数据库,强烈建议在生产环境中一定要备份数据库,要不然出问题就SB了,备份数据库步骤请参考附录
![](https://i-blog.csdnimg.cn/blog_migrate/934e6415abbb52eea93a0ef02da3c3c2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/75db6e26362b3aca547c22a9ae6ca02d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/1e82d9b988924a3516e99b4aa35f918d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fcc72c8f6577e171d19cb786b8c8bec5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/c64965f13dcab90290ced8844b8a52c2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/6d2ff6ac602eb05614c41eee19f95886.png)
![](https://i-blog.csdnimg.cn/blog_migrate/e85ba8cc213d7fc8a7d2999d165efa6a.png)
升级集群的时候发生错误,查看日志,原来是原来HDFS上已经有 spark-assembly.jar
,删除之
[root@mimo41 parcel-repo]# sudo -u spark Hadoop fs -rm -f /user/spark/location/spark-assembly.jar
后面一路绿灯
![](https://i-blog.csdnimg.cn/blog_migrate/a0d3996cdf1378fc4137c66bb7f9135b.png)
![](https://i-blog.csdnimg.cn/blog_migrate/94a109a686d59bbe7aa0c44295d2e35d.png)
![](https://i-blog.csdnimg.cn/blog_migrate/d08d3478b2315b5fe17b3548adc08b8e.png)
最后在CM管理界面启动服务,至此,CDH升级完毕。
附录:
CM升级(官网)
https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ag_ug_cm5_tarballs.html
CDH升级(官网)
https://www.cloudera.com/documentation/enterprise/5-10-x/topics/install_upgrade_to_cdh5x_parcels.html
mysql数据库备份:
https://www.cloudera.com/documentation/enterprise/5-10-x/topics/cm_ag_backup_dbs.html#concept_tyh_rmq_bl