cdh5.13.0安装spark2.3

安装准备

1下载地址

1csd包：http://archive.cloudera.com/spark2/csd/
2parcel包：http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/

2软件包

SPARK2_ON_YARN-2.3.0.cloudera2.jar
manifest.json
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1

1停掉集群运行

/opt/cm-5.13.0/etc/init.d/cloudera-scm-server stop
/opt/cm-5.13.0/etc/init.d/cloudera-scm-agent stop

2上传jar依赖，修改相应的用户组

[root@master01 csd]# pwd
/opt/cloudera/csd
[root@master01 csd]# ll
total 20
-rw-r--r-- 1 root root 19010 May 22 17:16 SPARK2_ON_YARN-2.3.0.cloudera2.jar
[root@master01 csd]# 
[root@master01 csd]# chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera2.jar 
[root@master01 csd]# ll
total 20
-rw-r--r-- 1 cloudera-scm cloudera-scm 19010 May 22 17:16 SPARK2_ON_YARN-2.3.0.cloudera2.jar
[root@master01 csd]# 

3上传安装文件

1将文件 原来的manifest.json修改备份
[root@master01 parcel-repo]# pwd
/opt/cloudera/parcel-repo
[root@master01 parcel-repo]# mv manifest.json manifest.json.bak
2上传文件，修改文件名
[root@master01 parcel-repo]# mv SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha1 SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha

4进行文件完整性校验

[root@master01 parcel-repo]# cat SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha 
7c1ee0a80ffb123e7219a065b2aaae97cb58a6ce
[root@master01 parcel-repo]# sha1sum SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
7c1ee0a80ffb123e7219a065b2aaae97cb58a6ce  SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel
[root@master01 parcel-repo]# 

两个文件的校验码相同，表示文件完整

5启动集群

/opt/cm-5.13.0/etc/init.d/cloudera-scm-server start
 /opt/cm-5.13.0/etc/init.d/cloudera-scm-agent start

6进行分发

7添加spark2服务

8安装成功页面

1问题一：安装过程中出现哈希校验失败，在下载文件过程中由于文件缺失引起的