本文档适合Cloudera Manager 5的所有版本的升级,而且使用tarballs进行升级,Tarballs包含Cloudera Manager Server和Cloudera ManagerAgent。
绝大多数的场景下,升级Cloudera Manager是可能不需要关闭大数据CDH服务的,仅仅去停止一些依赖的服务。CDH daemons继续运行,并不受影响。Cloudera Manager也不会影响CDH的安装。
使用Tarballs升级Cloudera Manager 5的步骤:
步骤 | 描述 | 链接 |
1 | 收集需要升级Cloudera Manager的信息,包含用户账号,密码,数据库URLs以及其他信息。你必须从升级的一开始就收集这些信息,因为一些信息只能从Cloudera Manager Admin Console中获取,如果在升级期间再收集就访问不了了。 | |
2 | 完成升级前的步骤并且review一下升级中的一些特殊的警告 | |
3 | 如果你的Cloudera Manager主机使用一个不支持的JDK版本,那么你必须在升级Cloudera Manager之前,升级支持的JDK版本。如果你计划升级CDH,那么你也必须在所有的集群节点升级JDK。 | Step 3: Upgrade the JDK |
4 | 如果Cloudera Manager节点无法访问外网,或者你安装一个低于最新版本的Cloudera Manager,那么需要配置访问Cloudera Manager软件包的Cloudera public repository或者一个本地的package repository。 | Step 4: Creating and Using a Package Repository for Cloudera Manager http://archive.cloudera.com/cm5/repo-as-tarball/5.8.4/ |
5 | 如果你从Cloudera Navigator 2.6或更低版本升级的话,升级Cloudera Navigator数据管理组件。 | Step 5: Upgrading the Cloudera Navigator Data Management Component |
6 | 升级Cloudera Manager Server和Agent软件 | |
7 | 验证和测试升级结果 | |
8 | 升级任何需要Cloudera Navigator的组件: Cloudera Manager Key Trustee Server Cloudera Navigator Key HSM Cloudera Navigator Key Trustee KMS Cloudera Navigator Encrypt 当你升级Cloudera Manager时,这些Cloudera Navigator Data Management Componen都会被升级的。 | |
9 | (可选)升级CDH。 如果Cloudera Manager升级结束后,你不需要立马升级CDH的话,后续也可以再考虑升级CDH。 |
步骤1:收集升级信息
在升级Cloudera Manager之前,收集下面的信息:
1. Host credentials
root或拥有sudo权限的用户
2. Cloudera Manager集群版本信息
Support > About
3. 集群中JDK版本
Support > About
4. CDH版本
The CDH version number displays next to thecluster name on the Home page.
5. 集群安装的方式,parcels或packages
This information displays next to the CDHversion on the Home page of Cloudera Manager.
6. 集群开启的服务
Clusters > Cluster name.
7. 操作系统的类型和版本
Go to Hosts and click on a hostname in thelist. The operating system type and version displays in the Distribution row inthe Details section.
步骤2:完成预升级步骤
开始Cloudera Manager升级之前,处理一下事情:
1. 查阅下面网站的内容,对于你升级新版本的环境。
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rn_consolidated_pcm.html
2. 阅读Cloudera Manager 5 Release Notes
https://www.cloudera.com/documentation/enterprise/release-notes/topics/rg_release_notes_cm.html
3. 阅读Cloudera Security Bulletins
https://www.cloudera.com/documentation/other/security-bulletins/topics/Security-Bulletin.html
4. 注意下面的说明:
l Cloudera Management Service TLS/SSL configuration
如果对于Cloudera Manager Admin Console,你开启了TLS安全控制,因为ClouderaManager 5.1版本,Cloudera service roles使用TLS和Cloudera Manager交互,并且启动时会失败直到TLS/SSL属性被配置。
l Navigator
如果你开启了ClouderaNavigator的auditing,在Cloudera Manager 5升级期间,auditing会阻塞,并且当你重启auditing服务的角色时,它将只能被重启。你将被指导在后续的步骤中停止一些服务。
5. 如果你之前安装过Kafka 1.2,并且从Cloudera Manager 5.4或更低版本升级,请remove掉Kafka CSD:
a. 决定CSD目录的位置
(1) 选择Administration > Settings
(2) 点击Custom Service Descriptors目录
(3) 重新从Local Descriptor Repository Path 属性中获取目录
b. 从目录中删除Kafka CSD
6. Review使用RPM方式安装的依赖。ClouderaManager升级可能会引入新的包依赖。
步骤3:升级JDK
升级到JDK 1.7:
升级到JDK 1.8:
步骤4:对于Cloudera Manager,创建和使用Package Repository
创建一个固定的Repo
1. 安装Apache HTTPD
yum install httpd
service httpd start
2. 下载Tarball
http://archive.cloudera.com/cm5/repo-as-tarball/?_ga=1.64295087.1254641687.1490056758
对于Cloudera Navigator data encryption组件,进入每个组件进行下载:
· Cloudera Navigator Key Trustee Server
· Cloudera Navigator Key Trustee KMS
3. 解压缩CM安装包,并拷贝到Web Server的目录,修改权限
tar xvfz cm5.8.4-centos7.tar.gz
mv cm /var/www/html
chmod -R ugo+rX /var/www/html/cm
创建一个临时的Repo
>> 下载Tarball
http://archive.cloudera.com/cm5/repo-as-tarball/?_ga=1.64295087.1254641687.1490056758
对于Cloudera Navigator data encryption组件,进入每个组件进行下载:
· Cloudera Navigator Key Trustee Server
· Cloudera Navigator Key Trustee KMS
>> 解压缩CM安装包,修改权限
tar xvfz cm5.8.4-centos7.tar.gz
chmod -R ugo+rX /tmp/cm
>> 启动SimpleHTTPServer
cd /tmp/cm
python -m SimpleHTTPServer 8900
步骤5:升级Cloudera Navigator Data Management Component
如果你从Cloudera Navigator 2.6或低版本升级的话,升级Cloudera Navigator Data Management Component。
https://www.cloudera.com/documentation/enterprise/latest/topics/cn_iu_upgrade_navigator.html
步骤6:升级Cloudera Manager Server和Agents
1. 如果你的集群使用内嵌的PostgreSQL数据库,停止所有使用PG数据库的服务,包括:
Hive Service和使用Hive Metastore的服务,比如Impala,Hue等
Oozie
Sentry
2. 停止Cloudera ManagerServer和Agent
a. 使用Cloudera ManagerAdmin Console去停止正在运行的命令,或者等待命令执行完
主要:如果没有停止所有的命令,那么Cloudera Manager Server升级完后启动会失败。
b. 停止运行的Cloudera ManagerServer
service cloudera-scm-server stop
c. 如果你使用内嵌的PostgreSQL数据库,停止数据库
servicecloudera-scm-server-db stop
d. 如果Cloudera Manager节点正在运行ClouderaManager Agent,那么需要停止
service cloudera-scm-agent stop
3. 下载Tarballs
4. 将下载好的Tarballs拷贝到所有Cloudera Manager Server和Agent,并且解压缩
mkdir /opt/cloudera-manager
tar xzf cloudera-manager*.tar.gz -C/opt/cloudera-manager
5. 在每一个Cloudera Agent节点,配置Cloudera Manager Agent指向Cloudera Manager Server
tarball_root/etc/cloudera-scm-agent/config.ini
Property | Description |
server_host | Name of the host where Cloudera Manager Server is running. |
server_port | Port on the host where Cloudera Manager Server is running. |
6. 默认情况下,对于Tarball安装来说,有一个var子目录用来保存状态信息。对于非Tarball方式部署的话,状态默认保存在操作系统的/var目录下,