CDH 5.14安装Spark2服务

由于默认的Spark版本为1.6，开发任务需要Spark2所以记录一次Spark2的安装。

一、JDK1.8

1. 集群的JDK版本升级，Spark2需要JDK1.8来支持
   1. 下载 JDK1.8
   2. 上传到/usr/share/jdk8文件夹下
   3. 每个节点都需要在相同的目录下配置JDK
   4. CDH配置中制定Java的目录
   5. 

 

 

 

 

 

 

二、下载spark2

1. spark2.3下载
2. 可以手动下载后上传到parcels，也可以直接远程下载
3. 
4. 更改spark，将上面的网址写到spark下替换原有默认网址
5. 保存更改后会发现有新的spark2出现，点击远程下载
6. 下载完成后分发
7. 分发结束后激活

三、CSD配置

1. http://archive.cloudera.com/spark2/csd/

    

2. 下载匹配版本上传到cloudera的安装目录下csd目录下

3. 更改权限

   chown cloudera-scm:cloudera-scm SPARK2_ON_YARN-2.3.0.cloudera3.jar

    

4. 重启集群

四、重启集群，添加Spark2的服务

五、分配主机等不再赘述