Cloudera Management添加spark2服务

用Cloudera Management管理集群时， 有时候在我们已经搭建了cdh版的集群， 又要用到spark2服务，在yarn上跑实时任务，而cdh集群中cdh中不包含spark2服务，因此需要另外下载。

---

目录

 

一、下载spark2的parcel包

二、上传至服务器

三、添加spark服务

---

一、下载spark2的parcel包

1、去这里http://archive.cloudera.com/spark2/下载

2、下载箭头指的三个文件，选择适合自己的操作系统，我是CentOS6，这里选择el6

3、下载对应csd jar包，csd版本要和parcel的版本严格对应，不对应会找不到spark服务

---

二、上传至服务器

1、上传下载的四个文件

2、把CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha1重命名为CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha

3、将 manifest.json、CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel.sha、CDH-5.12.2-1.cdh5.12.2.p0.4-el6.parcel

三个文件，上传到/opt/cloudera/parcel-repo/下，把原来manifest.json重命名即可

4、将SPARK2_ON_YARN-2.2.0.cloudera2.jar上传到opt/cloudera/csd下，csd目录需要手动创建

---

三、添加spark服务

1、停止集群和cms服务

2、重启server和各节点agent

/opt/cm-5.12.2/etc/init.d/cloudera-scm-server restart

/opt/cm-5.12.2/etc/init.d/cloudera-scm-agent restart

3、去 parcel页面， 分配，激活

这里已经分配、激活了，如果没有， 先点击“分配”按钮，然后再激活

 

4、添加spark服务

可以看到出现了spark2服务，选中服务，继续下一步，为spark2服务分配节点即可

5、选择节点，自定义分配角色， 分配完后继续

 6、进入启动Spark界面

7、启动完成后点击继续，成功如下

 

---