升级Cloudera Manager 5 到最新版本（官方文档翻译）

将cloudera manager 5 升级到最新版本

需要最低角色为：管理员

这个手册适合所有版本的Cloudera manager 5 升级

在绝大多数情况下，可以不必关闭cdh服务来完成升级过程，但需要关闭几个依赖的服务。当Cloudera manager升级的时候，CDH实例会继续运行不受影响。升级过程并不会影响CDH的安装，升级完cloudera manager后最好升级cdh4集群到cdh5集群。

升级cloudera manager 5到最新的Cloudera manager需要一下步骤

1、相关警示

2 、开始前的准备工作

3、关闭相关的服务和角色

4、移除kafka 1.2 csd

5、停止cloudera manager 、数据库（database）和客户端（agent）

6、升级cloudera manager server 和客户端主机（agent）的java版本

7、升级cloudera manager软件

8、启动cloudera manager

9、升级并启动cloudera mananger agent

10、验证升级是否成功

11、配置cloudera management service需要的安全连接（TLS\SSL）（此步骤为可选操作）

12、jdk环境升级

13、禁用kafka monitoring

14、启动相关的服务和角色

15、重启服务、部署升级后的客户端配置文件

16、测试安装

17、升级CDH（此步为可选操作）

一、相关提示

提示

cloudera  mangement serive TLS SSL 相关配置

如果你启用了cloudera manager admin终端安全连接（TLS），假如cloudera manager 版本为5.1，需要提前对TLS ssl进行相关配置，否则当cloudera managerment 的服务角色尝试与cloudera manager使用TLS通信时，会失败。

浏览（navigator）

如果你启用了clouder navigator的审核，在升级cloudera manager 5期间，审核功能将被挂起指导重启审核服务。

JDK升级

如果你在安装cloudera manager 客户端时升级jdk，必须重启所有的服务，另外，如果你启用了TSL或者SSL则要重现安装相关的CA证书。

二、安装前准备

在升级之前，请先做好一下准备

1.获取主机权限，为了给cloudera manager 升级客户端安装包，你需要以root账户或者可以使用sudo权限的账户ssh登陆到主机。可以查看Cooudera manager 5 的配置要求和支持版本已获得更多信息。

2.准备数据库，请查阅 cloudera manager 升级数据库配置

3.如果需要升级cloudera manager 5.4到5.5或者更高版本，需实施一下预升级步骤，以满足连接cloudera navigator升级要求。

（1）停止navigator meta server role

（2）备份Navigator meta server 存储路径

（3）确保navigator meta server 有足够的内存来完成升级操作

（4）如果你使用oracle数据库的SQL plus ，确保你有额外的权限：

grant execute on sys.dbms_crypto to nav

gant create view to nav

此处 nav指的是navigator audit server数据库的使用者

 如果需要更多信息，请参照升级cloudera navigator data management部分。

三、停止相关服务和角色

运行一个需要cloudera management server的版本——停止cloudera management service

运行嵌入式的PostgreSql 数据库———-停止所有使用嵌入式数据库的服务，例如hive 及impala、hue等需要使用hive metastore的，停止Oozie sentry

运行cloudera navigator data management 组建及一下开启审核的服务如Hdfs hbase hive hue——-停止一下角色，hdfs-namenode habase-master and regionservers  hive -hiveserver2 hue-beeswax server 停止所有依赖于以上角色运行的服务，比如hdfs的namenode 角色几乎印象所有的在集群上的服务，所以知道升级结束相关服务都不可用。

四、移除kafka 1.2 csd

如果你之前安装了kafka 1.2 版本，移除kafka csd

1.找到csd的目录为止

a、使用 administration>settings

b、单击 custom service desctiptors 按钮

c、从local desctiptor respository path 属性获取安装目录地址

2、从目录删除kafka csd 

五、停止cloudera manager server，database and agent

1、使用管理终端停止所有正在运行的命令，这些命令包括用户运行命令或者因为状态改变或任务改变cloudera manager 自动触发执行的命令。可以等待命令执行完毕或者直接终止命令。如何查看或终止正在运行的命令，可以参照 Viewing running and recent commands。如果没有停止所有命令，clouder manager server可能在升级后无法启动。

 2、在运行clouder manager server的主机上停止cloudera manager server

sudo service cloudera-scm-server stop

3、如果你的cloudera manager使用了嵌入式的PostgreSQL，需停止数据库：

sudo service cloudera-scm-server-db stop

重要提示：

如果你没有使用嵌入式数据库却尝试停止，将得到无法找到服务的反馈信息，相反，如果你得到了关闭失败的信息，证明嵌入式数据库正在运行，最大可能的原因是该服务仍和hive metastore相连接，如果数据库因为连接其他服务而关闭失败，可以用一下命令处理：

RHEL-compatible 7 and higher（使用与centos）：

sudo service cloudera-scm-server-db nextz_stop_fast

sudo service cloudera-scm-server-db stop

其他所有发行的linux

sudo service cloudera-scm-server-db fast_stop

4、如果cloudera manager 主机同时运行cloudera manager agent ，停止cloudera manager agent

sudo service cloudera-scm-agent stop

六、升级cloudera manager server和agent主机上的jdk

如果正在使用jdk 1.6，则必须升级到jdk 1.7或者1.8版本，具体可参照 Java development kit installation

七、升级cloudera manager 软件

1、升级cloudera manager server（软件包方式）

2、安装cloudera manager server 和agent 相关软件（tar压缩包方式）

（一）使用软件包升级cloudera manager server 

（1）为了升级cloudera manager server软件包，可以使用cloudera源升级，地址为：https://archive/cloudera.com/cm5/,或者可以建立自己的安装源，具体方法可以从自定义安装解决方案里边查找，如果集群不能链接互联网，则必须创建自己的安装源。

a、从https://archive/cloudera.com/cm5/处超着适合自己需要版本的repo文件，确保版本路径符合现有系统要求。

例如 系统为 redhat 或者centos 6，需使用下边路径：https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/.该路径下可以找到包含了url 和gpg key的repo文件。cloudera-manager.repo 文件的内容如下：

[cloudera-manager]

# Packages for Cloudera Manager, Version 5, on RHEL or CentOS 6 x86_64

name=Cloudera Manager

baseurl=https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5/

gpgkey = https://archive.cloudera.com/cm5/redhat/6/x86_64/cm/RPM-GPG-KEY-cloudera 

gpgcheck = 1

对于ubuntu或者debian 系统，需要使用合适的发行版路径，例如：https://archive.cloudera.com/cm4/debian/wheezy/amd64/cm. repo 文件在此情况下命名为：  cloudera.list, 内容为：

# Packages for Cloudera Manager, Version 5, on Debian 7.0 x86_64

deb https://archive.cloudera.com/cm5/debian/wheezy/amd64/cm wheezy-cm5 contrib

deb-src https://archive.cloudera.com/cm5/debian/wheezy/amd64/cm wheezy-cm5 contrib

b、替换原有系统上软件管理包位置配置文件repo

Operating System	Commands
RHEL	Copy cloudera-manager.repo to /etc/yum.repos.d/.
SLES	Copy cloudera-manager.repo to /etc/zypp/repos.d/.
Ubuntu or Debian	Copy cloudera.list to /etc/apt/sources.list.d/.

c、运行一下命令

操作系统 System	命令
RHEL	$ sudo yum clean all $ sudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-server-db-2 cloudera-manager-agent Note: yum clean all cleans yum cache directories, ensuring that you download and install the latest versions of the packages. If your system is not up to date, any underlying system components must be upgraded before yum update can succeed. yum indicates which components must be upgraded.
SLES	$ sudo zypper clean --all $ sudo zypper up -r https://archive.cloudera.com/cm5/sles/11/x86_64/cm/5/ To download from your own repository: $ sudo zypper clean --all $ sudo zypper rr cm $ sudo zypper ar -t rpm-md http://myhost.example.com/path_to_cm_repo/cm $ sudo zypper up -r http://myhost.example.com/path_to_cm_repo
Ubuntu or Debian	The following commands clean cached repository information and update Cloudera Manager components: $ sudo apt-get clean $ sudo apt-get update $ sudo apt-get dist-upgrade $ sudo apt-get install cloudera-manager-server cloudera-manager-daemons cloudera-manager-server-db-2 cloudera-manager-agent During this process, you may be prompted about your configuration file version: Configuration file `/etc/cloudera-scm-agent/config.ini' ==> Modified (by you or by a script) since installation. ==> Package distributor has shipped an updated version. What would you like to do about it ? Your options are: Y or I : install the package maintainer's version N or O : keep your currently-installed version D : show the differences between the versions Z : start a shell to examine the situation The default action is to keep your current version. You will receive a similar prompt for /etc/cloudera-scm-server/db.properties. Answer N to both prompts.

（2）如果需要配置/etc/cloudera-scm-agent/config.ini，自定义配置的文件被拷贝到以.rpmsave 或 .dpkg-old.合并有关暗转软件包配置到etc/cloudera-scm-agent/config.ini内。

根据选择的cloudera manager ，服务器上应该安装了一下列表的软件包，安装软件包的主机作为cloudera manager server主机。

主机	软件包
RPM-based distributions	$ rpm -qa 'cloudera-manager-*' cloudera-manager-repository-5.0-1.noarch cloudera-manager-server-5.7.2-0.cm572.p0.16.el6.x86_64 cloudera-manager-server-db-2-5.7.2-0.cm572.p0.16.el6.x86_64 cloudera-manager-agent-5.7.2-0.cm572.p0.16.el6.x86_64 cloudera-manager-daemons-5.7.2-0.cm572.p0.16.el6.x86_64
Ubuntu or Debian	~# dpkg-query -l 'cloudera-manager-*' Desired=Unknown/Install/Remove/Purge/Hold | Status=Not/Inst/Conf-files/Unpacked/halF-conf/Half-inst/trig-aWait/Trig-pend |/ Err?=(none)/Reinst-required (Status,Err: uppercase=bad) ||/ Name Version Description +++-======================-======================-============================================================ ii cloudera-manager-agent 5.7.2-0.cm572.p0.16~sq The Cloudera Manager Agent ii cloudera-manager-daemo 5.7.2-0.cm572.p0.16~sq Provides daemons for monitoring Hadoop and related tools. ii cloudera-manager-serve 5.7.2-0.cm572.p0.16~sq The Cloudera Manager Server

根据以前的安装版本，如果旧版本使用了嵌入式数据库或者额外的软件包插件，将可以看到cloudera-manager-server-db-2入口。如果并没有打算使用cloudera-manager-server-db-2软件包，可以卸载掉。

（二）使用tar包升级cloudera manager server和agent软件

tar将cloudera manager server和agent包含在一个压缩文件内，可以从cloudera manager version 和下载信息中找到下载怒撸。复制下载并解压到左右需要升级的主机的安装目录上（目录可以自行指定或创建），如果需要，可以创建一个新的目录用来存储解压的要做文件，例如 /opt/cloudera-manager 目录，并不存在可以使用一下命令创建：

$ sudo mkdir /opt/cloudera-manager

解压缩下载的tar文件，例如，复制tar 文件到选定u 露出，使用一下命令将压缩包解压到cloudera 目录：

$ sudo tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

相关文件将被解压到以版本命名命名的子文件夹下，例如：/opt/cloudera-manager/cm-5.0/. 在后期安装时需要填写完整路径。

八、配置cloudera manager agent

1、在每一台cloudera manager aget主机上，通过修改tarball_root/etc/cloudera-scm-agent/config.ini 配置文件，将agent指向cloudera manager server：

属性名	作用描述
server_host	cloudera manager server 运行主机的名称
server_port	server manager 使用的端口

2、默认情况下，压缩包内的var子目录存储运行状态。在非tar包安装时，状态被存储在/var下。cloudera推荐使用tar 压缩包安装时使用扩展目录比如/var 这样，当升级cloudera manager是，新的tar 安装过程可以连接到state。可以通过修改tarball_root/etc/default/cloudera-scm-agent，设置CMF_VAR变量指定拓展目录，来改变tar安装升级cloudera manager server时存储state的存储位置。如果使用旧版本的state，可能导致cloudera manager agent入口在cloudera manager database内多次复制。

九、启动cloudera manager server

根据安装方式选择不同的启动方式

（1）以软件包形式安装的cloudera manager server 启动方式

（2）以tar压缩包方式安装的cloudera manager server

（一）以软件包形式安装的cloudera manager server 启动方式

在安装cloudera server 的主机上（在该主机安装了cloudera-manager-server软件包）执行一下命令：

1、如果使用前舒适的postgresql数据库，先启动数据库：

$ sudo service cloudera-scm-server-db start

2.启动cloudera manager server：

$ sudo service cloudera-scm-server start

反馈信息：

Starting cloudera-scm-server:                              [  OK  ]

（二）以tar方式安装的cloudera manager server启动方式：

启动cloudera manager server的方式，根据希望cloudera server 运行的用户权限不同而不同：

a、以root 用户启动

$ sudo tarball_root/etc/init.d/cloudera-scm-server start 

b、使用其他用户启动，如果使用其他用户启动，需要确保使用的用户拥有tar文件解压目录及新安装数据库的权限。如果时按照以前的示范案例，新建安装目录/opt/cloudera-manager ，新建用户cloudera-scm，应该执行一下命令，改变目录的拥有者

$ sudo chown -R cloudera-scm:cloudera-scm /opt/cloudera-manager

改变目录拥有者后，可以使用选择的用户启动cloudera manager server。例如，如果想运行运行cloudera manager server 作为一个服务，可以执行新一下操作：

i：执行下面命令：

sudo -u cloudera-service tarball_root/etc/init.d/cloudera-scm-server start 

ii：修改配置文件，在脚本内改变启动用户，以root身份运行脚本：

   v：移除掉tarball_root/etc/default/cloudera-scm-server内下行数据:

     export CMF_SUDO_CMD=" “

        vv：修改tarball_root/etc/default/cloudera-scm-server内的用户和用户组为启动cloudera manager server的用户和用户组。例如，启动cloudera-server，修改用户和用户组：

         USER=cloudera-service

         GROUP=cloudera-service

             vvv：以管理员权限运行服务器脚本：

                     $ sudo tarball_root/etc/init.d/cloudera-scm-server start 

iii：设置cloudera manager server开机自启动

v：在clousera server 主机上运行一下脚本

RHEL-compatible and SLES操作系统

• $ cp tarball_root/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
• $ chkconfig cloudera-scm-server on
• Debian/Ubuntu操作系统
• $ cp tarball_root/etc/init.d/cloudera-scm-server /etc/init.d/cloudera-scm-server
• $ update-rc.d cloudera-scm-server defaults

vv：在cloudera manager server主机上，打开/etc/init.d/cloudera-scm-server，将CMF_DEFAULTS值从${CMF_DEFAULTS:-/etc/default} 改为tarball_root/etc/default.

十、升级和启动cloudera manager agent

根据暗黄方式选择升级和启动方式：

使用软件包方式安装和升级cloudera manager agent的启动方式

使用tar烟锁包升级cloudera manager agents的启动方式

（一）使用软件包方式安装和升级cloudera manager agent的启动方式

提示：所有的集群主机需要能有联网，以便使用archive.cloudera.com作为安装文件源，如果不能够领结网络，则需要创建本地安装源

1、登录cloudera manager admin 终端

2、使用下边的方法升级主机

使用cloudera manager 安装agent 软件

a、选择 Yes, I would like to upgrade the Cloudera Manager Agent packages now ，然后点击Continue

b、选择要正确的cloudera manager agent，安装软件。通常情况下，agent自动匹配需要满足cloudera manager server。尽管如此，如果使用自己安装的软件源而不是archive.cloudera.com的官方源，则需要选择根据cloudera 需求信息和自定义源来安装。自定义的源文件允许使用其他路径，但是所在路径必须包含匹配的agent版本软件。

c、单击continue，将开始JDK安装。

i：选择安装Oracle Java SE Development Kit (JDK)允许cloudera manager 在每一台集群节点上安装，或者不选择在稍后自己安装。

ii：如果当地法律允许使用强加密算法，可以单击Install Java Unlimited Strength Encryption Policy Files，选择安装一个加密集群。

单击继续continue

d、确认权限并开始安装agent

  使用root用户或者使用具有免密码sudo权限的用户

   选择认证方法

   如果选择密码认证，则需要输入并确认密码

   如果选择公用秘钥，必须提供提供密码和执行秘钥文件的路径

   可以指定ssh端口，默认端口为22

   可以指定最大同时安装主机的数目，默认同时安装主机的数目是10

e、点击conitinue ，cloudera manager agent软件包和选择的jdk将会被安装

f、单击继续按键，主机监视器将按照管理主机版本要求配置客户端，如果安装出现问题可以重新运行安装，当安装完成，单击continue

手动安装agent软件

a、在左右集群主机上停止agent进程。

$ sudo service cloudera-scm-agent stop

b、在cloudera 管理终端，选择No, I would like to skip the agent upgrade now and click Continue.

c、复制repo源文件（包含了要升级的cloudera manager server 软件包源信息）

d、运行一下命令：

操作系统	命令
RHEL	$ sudo yum clean all $ sudo yum upgrade cloudera-manager-server cloudera-manager-daemons cloudera-manager-server-db-2 cloudera-manager-agent Note: yum clean all cleans yum cache directories, ensuring that you download and install the latest versions of the packages. If your system is not up to date, any underlying system components must be upgraded before yum update can succeed. yum indicates which components must be upgraded.
SLES	$ sudo zypper clean --all $ sudo zypper up -r https://archive.cloudera.com/cm5/sles/11/x86_64/cm/5/ To download from your own repository: $ sudo zypper clean --all $ sudo zypper rr cm $ sudo zypper ar -t rpm-md http://myhost.example.com/path_to_cm_repo/cm $ sudo zypper up -r http://myhost.example.com/path_to_cm_repo
Ubuntu or Debian	Use the following commands to clean cached repository information and update Cloudera Manager components: $ sudo apt-get clean $ sudo apt-get update $ sudo apt-get dist-upgrade $ sudo apt-get install cloudera-manager-agent cloudera-manager-daemons During this process, you may be prompted about your configuration file version: Configuration file '/etc/cloudera-scm-agent/config.ini' ==> Modified (by you or by a script) since installation. ==> Package distributor has shipped an updated version. What would you like to do about it ? Your options are: Y or I : install the package maintainer's version N or O : keep your currently-installed version D : show the differences between the versions Z : start a shell to examine the situation The default action is to keep your current version. You will receive a similar prompt for /etc/cloudera-scm-server/db.properties. Answer N to both prompts.

e、如果修改过/etc/cloudera-scm-agent/config.ini配置文件，修改过的文件将会拷贝到以.rpmsave 或 .dpkg-old.相关配置信息将会被融合到新的安装配置文件中。

f、在所有主机上启动agent

sudo service cloudera-scm-agent start

g、单价继续按钮，主机安装程序将按照管理服务器预期版本安装配置文件，如果安装出现问题，可以改变相关配置重新运行安装程序。当安装过程成功后，单击继续按钮。

3、单击finish 按钮。

4、如果你从cloudera manager 5.0升级，并使用了外部数据库作为cloudera server manager的数据，数据配置界面将会显示，请按照以下步骤配置数据库。

a、输入cloudera使用的数据库主机地址 数据库类型 数据库名 数据库用户 用户名密码。

b、单击测试连接确保cloudera server manager 能够与数据库通信，如果测试连接成功，单击continue。如果连接出错，请检查配置的数据库连接信息是否正确，再尝试。如果使用的是嵌入式数据路，可能会提示稍后安装数据库。

5、显示升级后的变化，检查相关配置变更是否正确，单击continue。升级程序将显示一个是否重启cloudera management server的服务。

6、单击continue。你如选择默认设置，cloudera management servie将重启。

7、单击finish按钮，在home导航栏单击status将显示：

   所有的服务（除了手动停止的服务和角色）将运行

重启cloudera manager agent （以tar 压缩包形式安装）

停止cloudera manager agent

运行一下命令停止cloudera manager agent

$ sudo tarball_root/etc/init.d/cloudera-scm-agent stop

如果运行的是单节点用户，使用运行账户停止cloudera manager agent。例如，使用cloudera-scm运行的cloudera agent，使用一下命令：

$ sudo -u cloudera-scm tarball_root/etc/init.d/cloudera-scm-agent stop 

修改配置文件，改变脚本内运行用户，以root用户运行脚本

移除tarball_root/etc/default/cloudera-scm-agent的下行文本：

export CMF_SUDO_CMD=" “

修改tarball_root/etc/init.d/cloudera-scm-agent t内cloudera 运行的用户和用户组为当前想使用的用户或用户组。例如使用cloudera-scm用户和用户组，修改文件如下：

USER=cloudera-scm

GROUP=cloudera-scm

以root用户运行agent脚本

$ sudo tarball_root/etc/init.d/cloudera-scm-agent stop 

启动cloudera manager agent（以tar压缩包形式安装）

根据你选择运行agent的用户选择命令运行：

在每台agent主机上运行一下命令：

$ sudo tarball_root/etc/init.d/cloudera-scm-agent start

但agent开始运行，将会主动与server通信。

$ sudo -u cloudera-scm tarball_root/etc/init.d/cloudera-scm-agent start 

移除tarball_root/etc/default/cloudera-scm-agent的下行文本：

export CMF_SUDO_CMD=" “

修改tarball_root/etc/init.d/cloudera-scm-agent t内cloudera 运行的用户和用户组为当前想使用的用户或用户组。例如使用cloudera-scm用户和用户组，修改文件如下：

USER=cloudera-scm

GROUP=cloudera-scm

以root用户运行agent脚本

$ sudo tarball_root/etc/init.d/cloudera-scm-agent start 

设置cloudera agent开机后自动启动

在每台主机上运行一下脚本

• RHEL-compatible and SLES 操作系统
• $ cp tarball_root/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
• $ chkconfig cloudera-scm-agent on
• Debian/Ubuntu操作系统 
• $ cp tarball_root/etc/init.d/cloudera-scm-agent /etc/init.d/cloudera-scm-agent
• $ update-rc.d cloudera-scm-agent defaults
• 在每台主机上，打开tarball_root/etc/init.d/cloudera-scm-agent，将CMF_DEFAULTS的值由 ${CMF_DEFAULTS:-/etc/default} 改为 tarball_root/etc/default.

十、验证升级是否成功

如果使用命令升级cloudera manager server没有报错的完成了，升级基本成功，可以通过检查server的版本来验证升级是否成功。