CDH5.80 离线安装或者升级spark2.x详细步骤

CDH5.80 离线安装或者升级spark2.x详细步骤

 

简介：

在我的CDH5.80集群中，默认安装的spark是1.6版本，这里需要将其升级为spark2.x版本。从官方文档，可知spark1.6和2.x是可以并行安装的，也就是说可以不用删除默认的1.6版本，可以直接安装2.x版本，它们各自用的端口也是不一样的。我尝试了安装spark2.00版本，这里做一下安装spark2.00版本的步骤记录。

 

有兴趣可以理解一下

Cloudera发布Apache Spark 2概述(可以在这里面找到安装方法和parcel包的仓库，不过待会我会给出地址和安装方法)：

https://www.cloudera.com/documentation/spark2/latest/topics/spark2_installing.html

 

• 升级准备

下载所需要的包：

• csd包：http://archive.cloudera.com/spark2/csd/

 

• parcel包：http://archive.cloudera.com/spark2/parcels/2.0.0.cloudera2/

 

 

注意：如果你仔细浏览过这些路径，会发现下图中，csd和parcel包会有.clouderal1和.clouderal2之分，和2.0与2.1版本之分，那么在下载parcel时也要注意，下载对应的包。即如果下载到的是.clouderal1的csd包，下载parcel包也要下载文件名中是.clouderal1的包，不能下载.clouderal2的包，同时csd2.0的包也不能用于parcel2.1的包，不然很可能安不上

• 安装

• 所有节点都要操作

 上传CSD包到机器的/opt/cloudera/csd目录，并且修改文件的用户和组。注意如果本目录下有其他的jar包，把删掉或者移到其他目录

我的节点有192.168.120.5，192.168.120.7，192.168.120.8，192.168.120.56，192.168.120.57

• 只在cloudera manager server 几点操作

上传parcel包到机器的/opt/cloudera/parcel-repo目录下

注意：如果有其他的安装包，不用删除 ，但是如果本目录下有其他的重名文件比如manifest.json文件，把它重命名备份掉。然后把那3个parcel包的文件放在这里。

    上传前SPARK2-2.0.0.cloudera2-1.cdh5.7.0.p0.118100-el6.parcel.sha1 要改名为SPARK2-2.0.0.cloudera2-1.cdh5.7.0.p0.118100-el6.parcel.sha

    把与上传文件同名的文件备份或者重新命名为别的名称，比如原本就有的 manifest.json 被我重命名为了manifest-temp.json

要上传的三个文件是：

  SPARK2-2.0.0.cloudera2-1.cdh5.7.0.p0.118100-el6.parcel

SPARK2-2.0.0.cloudera2-1.cdh5.7.0.p0.118100-el6.parcel.sha

  manifest.json

③ 重启cloudera manager server 节点

 

/opt/cm-5.8.0/etc/init.d/cloudera-scm-server restart

如果中间失败过可以试着重启一下各个agent 节点

/opt/cm-5.8.0/etc/init.d/cloudera-scm-server restart

③ 登录到cloudera manager web 监控我这边提示需要在页面重启server服务

•  找到页面的parcel 按钮

• 分配

• 激活

激活后就是这个样子的：

 

• 重新部署cloudera manager 里的服务（点击-重启过时服务）

• 添加spark2服务

• 验证spark 1.60 和spark 2.00 并存

Web 查看2个服务是否正常

Xshell 查看命令：