CDH 自定义添加Spark2服务

官网参考Installing Cloudera Distribution of Apache Spark 2

一 、下载

SPARK2_ON_YARN-2.2.0.cloudera1.jar

SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel.sha
manifest.json

二、准备
1、将SPARK2_ON_YARN-2.2.0.cloudera1.jar上传至/opt/cloudera/csd目录

注：要保证集群的本地描述符存储库路径是/opt/cloudera/csd
查看方式：CM主界面管理–>设置–>类别（本地描述符存储库路径）

2、将

SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel.sha
manifest.json

上传至/var/www/html/spark2目录下，且保证http能够访问。

3、重启cloudera-scm-server 服务

service cloudera-scm-server restart

成功后进入CM界面，在添加服务里面会看到spark2的按钮。

三、安装parcels
1、主机–>parcels–>配置–>填写url–>检查新的parcel
2、下载–>分配—>激活

四、添加服务
1、点击集群按钮旁的添加服务
2、选择spark2 –>继续
3、选择依赖
4、角色分配（Gateway所有主机都要安装）
5、启动