CDH安装Spark2

前言

我们采用的cdh版本是5.16.1，对应的spark版本是1.6.0，由于项目需要使用使用Spark的版本是2.1.0，所以进行了Spark的升级。

实现过程

1、下载文件
1）jar文件
下载路径：
http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.1.0.cloudera4.jar
2）manifest.json文件
下载路径：
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera4/manifest.json
3）parcel文件
下载路径：http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera4/SPARK2-2.1.0.cloudera4-1.cdh5.13.3.p0.818552-el7.parcel
4）sha1文件
下载路径
http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera4/SPARK2-2.1.0.cloudera4-1.cdh5.13.3.p0.818552-el7.parcel.sha1
5）torrent文件
2、放置文件并修改文件权限
1）cd …/cloudera/csd下，放置json、sha、parcel、jar，共4个文件(…表示你的放置路径)
2）cd …/cloudera/parcel-repo下，放置parcel、sha、torrent，共3个文件
3）chown cloudera-scm:cloudera-scm
4) chmod 644
3、重启server和agent,注意每个节点都需要重新启动
1)systemctl restart cloudera-scm-server
pssh -h ip.list -I “sudo systemctl restart cloudera-scm-agent”
2)systemctl restart cloudera-scm-agent
3)cdh页面cloudera management service重启
4、刷新
cdh页面，点击主机→parcel→检查新parcel,会出现spark2
5、激活
6、添加服务