0573-5.16.1-如何将CDSW从1.4.2升级到1.5

最新推荐文章于 2019-11-23 06:19:04 发布

Hadoop_SC

最新推荐文章于 2019-11-23 06:19:04 发布

阅读量355

点赞数

分类专栏： Hadoop实操

本文链接：https://blog.csdn.net/Hadoop_SC/article/details/103101364

版权

Hadoop实操专栏收录该内容

412 篇文章 61 订阅

订阅专栏

1 文档编写目的

Cloudera于2019年1月29日发布CDSW1.5，Fayson在前面的文章《0544-CDSW1.5的新功能》中对于1.5的新功能也做了介绍。对于已经安装并在使用的CDSW用户，很多都是1.4版本的，发布新版本，一般第一时间关心是如何升级，本文将主要描述如何升级CDSW。

测试环境

1.CM和CDH版本为5.16.1

2.CDSW初始版本为1.4.2

3.集群已启用Kerberos

4.RedHat7.4

2 升级说明

在CDSW1.4.2之前，停止或重启CDSW服务，都可能导致CDSW数据丢失，这是CDSW的一个bug：TSB-346：

Risk of Data Loss During Cloudera Data Science Workbench (CDSW) Shutdown and Restart

该bug直到CDSW1.4.3才修复，当然我们要升级到的1.5也已经修复，但本文要介绍的环境基础版本是1.4.2，所以也会有这个问题，而升级肯定会涉及CDSW服务的停止或重启，所以我们需要参考Cloudera官方提供的安全的方式来停止CDSW服务，该方式同时还会帮你自动备份数据。

具体参考：

https://www.cloudera.com/documentation/data-science-workbench/latest/topics/cdsw_release_notes.html#fixed_issues_143__TSB-350

3 升级前准备

1.下载cdsw_protect_stop_restart.sh到CDSW Master节点，该脚本主要会帮你备份CDSW的项目数据。

[root@cdsw ~]# wget https://www.cloudera.com/documentation/other/shared/cdsw_protect_stop_restart.sh
[root@cdsw ~]# cat cdsw_protect_stop_restart.sh

2.执行该脚本，按照提示操作：

[root@cdsw ~]# sh cdsw_protect_stop_restart.sh

按回车

去CM界面上停止CDSW服务，然后再按回车

3.在Master节点上备份/var/lib/cdsw目录

[root@cdsw ~]# tar cvzf cdsw.tar.gz /var/lib/cdsw/*

4.如果你在使用的是Redhat，而且CDSW的版本低于1.4.2，你还需要重启所有CDSW节点，因为从1.4.2开始，CDSW打包了一个Redhat内核bug的修复包，而为了让其生效，需要重启所有服务器。Fayson的环境是1.4.2的默认已包含，该过程省略。

5.从CM界面停用旧的CDSW1.4.2的包。

6.下载CDSW1.5的CSD文件到Cloudera Manager节点。

[root@ip-172-31-13-38 ~]# cd /opt/cloudera/csd
[root@ip-172-31-13-38 csd]# rm -rf CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.4.2.jar 
[root@ip-172-31-13-38 csd]# wget https://archive.cloudera.com/cdsw1/1.5.0/csd/CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.5.0.jar
[root@ip-172-31-13-38 csd]# chown cloudera-scm:cloudera-scm CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.5.0.jar 
[root@ip-172-31-13-38 csd]# chmod 644 CLOUDERA_DATA_SCIENCE_WORKBENCH-CDH5-1.5.0.jar 
[root@ip-172-31-13-38 csd]# systemctl restart cloudera-scm-server

7.待Cloudera Manager重启完成后，登录CM，重启Cloudera Management Service。

4 准备CDSW1.5的安装包

1.下载准备CDSW1.5的Parcel包：

https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel
https://archive.cloudera.com/cdsw1/1.5.0/parcels/CDSW-1.5.0.p1.849870-el7.parcel.sha
https://archive.cloudera.com/cdsw1/1.5.0/parcels/manifest.json

2.将下载好的Parcel包部署在本地的apache服务器的/var/www/html/cdsw1.5目录下

3.验证本地Parcel部署是否成功

4.使用管理员登录Cloudera Manager，进入Pacel主界面

5.点击“配置”，将cdsw1.4版本的本地Parcel库地址配置到列表中

6.保存更改后回到Parcel界面查看加载在的CDSW1.5版本

7.下载->分配->激活

5 升级CDSW

1.通过CM进入CDSW服务，点击“配置”，搜索“Install Required Packages”，如果已勾选，则跳过该步直接到下一步，否则需要在所有的CDSW节点上手动安装以下包：

nfs-utils
libseccomp
lvm2
bridge-utils
libtool-ltdl
iptables
rsync
policycoreutils-python
selinux-policy-base
selinux-policy-targeted
ntp
ebtables
bind-utils
nmap-ncat
openssl
e2fsprogs
redhat-lsb-core
socat