cdh5.14 默认自带的spark版本是1.6的,如果需要使用spark2,那么需要另外安装。官网上给出了CDH版本和spark2版本对应的说明以及离线安装包的地址,在安装时需要安装自己集群版本下载相应的spark2:
https://www.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
1.下载安装包
下载4个文件
manifest.json
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel
SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el6.parcel.sha1
SPARK2_ON_YARN-2.4.0.cloudera2.jar
2. 上传安装包到指定目录
2.1、SPARK2_ON_YARN-2.4.0.cloudera2.jar 上传到/opt/cloudera/csd
2.2、另外三个文件上传到/opt/cloudera/parcel-repo,注意,可能manifest.json已存在,先将原来的重命名后缀加.bak
[root@cdh01 cloudera]# cd /opt/cloudera/csd
[