CDH 安装spark2

一.安装准备
csd包:http://archive.cloudera.com/spark2/csd/
parcel包:http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/
二.开始安装
1.安装前可以停掉集群和Cloudera Management Service
2.下面的操作,只需要在安装spark2的机器上面进行,我只选择CM server机器。(仓库机子)。
3.上传CSD包到机器的/opt/cloudera/csd目录,并且修改文件的用户和组。注意如果本目录下有其他的jar包,把删掉或者移到其他目录

chown  cloudera-scm:cloudera-scm  SPARK2_ON_YARN-2.1.0.cloudera3.jar

4.上传parcel包到机器的/opt/cloudera/parcel-repo目录下。
5.如果刚刚没有停掉CM和集群,现在将他们停掉。然后运行命令
我启动了server,没有启动agent,网上有说法是server和agent全部启动(server要重启)
6.把CM和集群启动起来。然后点击主机->Parcel页面,看是否多了个spark2的选项。如下图,你这里此时应该是分配按钮,点击,等待操作完成后,点击激活按钮
7.激活后,点击你的群集-》添加服务,添加spark2服务。注意,如果你这里看不到spark2服务,就请检查你的CSD包和parcel包是否对应,上面的步骤是否有漏掉。正常情况下,应该是能用了。

在集群中安装jdk1.8,修改CDH的JAVA_HOME方法
vi /etc/default/cloudera-scm-server
export JAVA_HOME=/usr/java/jdk1.8.0_181
在CM中每个主机的上配置JAVA_HOME
在CM中的点 -> 主机 -> 选择一host
在高级页添加新的JAVA_HOME目录

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值