zookeeper平滑升级_大数据技术之cdh版本升级（5.14 -> 6.2）

本篇文章探讨了大数据技术之cdh版本升级(5.14 -> 6.2)，希望阅读本篇文章以后大家有所收获，帮助大家对相关内容的理解更加深入。

我们的Cloudera Manager和cdh版本是5.14，现在公司需要升级到cdh6.2

需要先升级Cloudera Manager，然后升级cdh。

1.Cloudera Manager升级

升级之前先确定linux的版本已经升级到Cloudera Manager6.2支持的版本

1.1备份

1.1.1备份Cloudera Manager Agent

###查看数据库信息$ cat /etc/cloudera-scm-server/db.properties

得到类似如下信息：...

com.cloudera.cmf.db.type=...com.cloudera.cmf.db.host=database_hostname:database_portcom.cloudera.cmf.db.name=scm

com.cloudera.cmf.db.user=scm

com.cloudera.cmf.db.password=SOME_PASSWORD

在每台安装了Cloudera Manager agent 的机器都执行以下的备份操作:

Create a top level backup directory.$ export CM_BACKUP_DIR=""`date +%F`-CM5.14""$ echo $CM_BACKUP_DIR$ mkdir -p $CM_BACKUP_DIR

Back up the Agent directory and the runtime state.$ sudo -E tar -cf $CM_BACKUP_DIR/cloudera-scm-agent.tar --exclude=*.sock /etc/cloudera-scm-agent /etc/default/cloudera-scm-agent /var/run/cloudera-scm-agent /var/lib/cloudera-scm-agent

Back up the existing repository directory.$ sudo -E tar -cf $CM_BACKUP_DIR/repository.tar /etc/yum.repos.d

1.1.2备份Cloudera Manager Service

在安装了Service Monitor 的机器上执行：$ sudo cp -rp /var/lib/cloudera-service-monitor /var/lib/cloudera-service-monitor-`date +%F`-CM5.14

在安装了Host Monitor 的机器上执行：$ sudo cp -rp /var/lib/cloudera-host-monitor /var/lib/cloudera-host-monitor-`date +%F`-CM5.14

在安装了Event Server的机器上执行：$ sudo cp -rp /var/lib/cloudera-scm-eventserver /var/lib/cloudera-scm-eventserver-`date +%F`-CM5.14

1.1.3备份 Cloudera Manager Databases$ mysqldump --databases database_name --host=database_hostname --port=database_port -u user_name -p > $HOME/database_name-backup-`date +%F`-CM5.14.sql

1.1.2备份 Cloudera Manager Server

Create a top-level backup directory.$ export CM_BACKUP_DIR=""`date +%F`-CM5.14""$ echo $CM_BACKUP_DIR$ mkdir -p $CM_BACKUP_DIR

$ Back up the Cloudera Manager Server directories:$ sudo -E tar -cf $CM_BACKUP_DIR/cloudera-scm-server.tar /etc/cloudera-scm-server /etc/default/cloudera-scm-server

Back up the existing repository directory.$ sudo -E tar -cf $CM_BACKUP_DIR/repository.tar /etc/yum.repos.d

1.2升级Cloudera Manager Server

1.2.1建立软件的访问权限(替换yum源)

登陆Cloudera Manager Server节点，删除原有yum源$ sudo rm /etc/yum.repos.d/cloudera*manager.repo*

创建新的yum源文件[cloudera-manager]# Packages for Cloudera Managername=Cloudera Managerbaseurl=https://archive.cloudera.com/cm6/6.2.0/redhat6/yum/gpgkey=https://archive.cloudera.com/cm6/6.2.0/redhat6/yum/RPM-GPG-KEY-clouderagpgcheck=1

1.2.2安装or配置java8

在server的配置文件中配置java_home：

在/etc/default/cloudera-scm-server

增加

export JAVA_HOME=""/usr/java/jdk1.8.0_141-cloudera""

1.2.3升级Cloudera Manager Server

1.登录Cloudera Manager Server主机。

2.停止Cloudera管理服务。  (要点：此时不停止Cloudera Management Service可能会导致管理角色崩溃或Cloudera Manager Server可能无法重新启动。)

步骤：a.Log in to the Cloudera Manager Admin Console.</