CDH 自定义添加Spark2服务

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/Gavin_chun/article/details/78554277

官网参考Installing Cloudera Distribution of Apache Spark 2

一 、下载

SPARK2_ON_YARN-2.2.0.cloudera1.jar

SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel.sha
manifest.json

二、准备
1、将SPARK2_ON_YARN-2.2.0.cloudera1.jar上传至/opt/cloudera/csd目录

注:要保证集群的本地描述符存储库路径是/opt/cloudera/csd
查看方式:CM主界面管理–>设置–>类别(本地描述符存储库路径)

2、将

SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel
SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel.sha
manifest.json

上传至/var/www/html/spark2目录下,且保证http能够访问。

3、重启cloudera-scm-server 服务

service cloudera-scm-server restart

成功后进入CM界面,在添加服务里面会看到spark2的按钮。

三、安装parcels
1、主机–>parcels–>配置–>填写url–>检查新的parcel
2、下载–>分配—>激活

四、添加服务
1、点击集群按钮旁的添加服务
2、选择spark2 –>继续
3、选择依赖
4、角色分配(Gateway所有主机都要安装)
5、启动

没有更多推荐了,返回首页