CDH 环境集成Kudu、Spark2服务方案及相关问题的解决方案

环境：Centos 7 、CDH 5.10.2、     Kudu1.4.0-1.cdh5.12.0.p0.25、Spark 2.2.0.cloudera1-1.cdh5.12.0.p0.142354

我用了一天时间重新搭建了一个测试集群，在此过程中其他都很顺利，但是在安装Kudu、Spark2服务的时候遇到了一点问题，在这里记录下。

按照官网的说明，CDH 在5.12之后的版本集成了Kudu，在这之前的版本需要自己指定Kudu的parcel。也可以自己去相应的地址自己下载。

安装服务

方案一：自动安装

1、在Cloudera Manager主页依次选择 主机——》Parcel——》配置

2、在【Parcel 设置】页面添加新的 远程 Parcel 存储库 URL，并点击【保存更改】。

Kudu :

https://archive.cloudera.com/kudu/parcels/5.10/

http://archive.cloudera.com/kudu/parcels/latest/

Spark2：

http://archive.cloudera.com/spark2/parcels/latest/

http://archive.cloudera.com/spark2/parcels/2.1.0.cloudera2/

 

如果想用当前版本CDH支持的最新版的就只需要添加上述地址中https://archive.cloudera.com/*****/latest。

3、【检查新Parcel】后会出现对应的可用服务

4、选择对应版本的服务，【下载】——》【分配】——》【激活】

5、添加服务，

方案二：手动下载安装

1、去以下地址下载需要的版本的Parcel包，和对应的.parcel.sha1

http://archive.cloudera.com/spark2/parcels/

http://archive.cloudera.com/kudu/parcels/

2、将下载的文件分发到集群中所有节点的/opt/cloudera/parcel-repok路径洗下，并将parcel.sha1重命名为parcel.sha

3、执行方案一中第4步中【激活】

4、执行方案一中第5步，添加服务。

问题：

在上述方案中的【添加服务】时，可用服务列表中没有Kudu和Spark2。

解决方案：

1、下载对应版本的csd包，并放在Cloudera Manager Server所在节点的 /opt/cloudera/csd 路径下。

https://archive.cloudera.com/kudu/csd/

https://archive.cloudera.com/spark2/csd/

2、使用命令 

service cloudera-scm-server restart

重启Cloudera Manager Server

待服务重启完之后，在添加服务界面就可以看到相关的服务了。

参考：https://www.cloudera.com/documentation/director/latest/topics/director_using_kudu.html