CDH 5.12 spark升级从1.6到2.2

CDH5.12对应spark版本

下载Spark升级包

CSD文件下载

SPARK2_ON_YARN-2.1.0.cloudera1.jar

parcels包下载

因为我的Linux版本是centos7，因此下载下面的两个包

• SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel
• SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1
• manifest.json

安装spark升级包

安装包放入到环境中

- 上传安装包
上传SPARK2_ON_YARN-2.2.0.cloudera1.jar到/opt/cloudera/csd/下面；
上传文件：
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el7.parcel.sha1
manifest.json
到/opt/cloudera/parcel-repo/下面。如果manifest.json有同名文件，记得重命名备份起来
- 修改文件属性
chown -R cloudera-scm:cloudera-scm /opt/cloudera

安装spark

- 重启cloudera
重启Server端
cloudera-scm-server restart
所有节点上执行，重启所有agent
cloudera-scm-agent restart

• 分配、激活
  • CM管理主界面，点击主机-》Parcel，然后找到spark2，点击分配、激活。
    

• 添加服务
  分配和激活spark2之后，可以到主界面点击添加新的服务，找到spark2，一直下一步就可以。
  注意，History Server可以装到master节点，Gateway可以安装到所有agent节点
  
• 一直走下去，最后可以看到spark2被添加成功，且Spark2和spark1可以共存。、
  -