CDH5.13.3集成Spark2.4.0
目录
- CDH5.13.3集成Spark2.4.0
-
- 写在前面
- 一. 安装准备
- 二. 开始安装
-
- 1.安装前可以停掉集群和Cloudera Management Service
- 3.上传CSD包到每台服务器上的/opt/cloudera/csd目录,并且修改文件的用户和组。
- 4.上传parcel包到机器的/opt/cloudera/parcel-repo目录下。
- 5.如果刚刚没有停掉CM和集群,现在将他们停掉。然后运行命令。
- 6.把CM和集群启动起来。然后点击主机->Parcel页面,看是否多了个spark2的选项。如下图,你这里此时应该是分配按钮,点击,等待操作完成后,点击激活按钮
- 7.激活后,点击你的群集-》添加服务,添加spark2服务。注意,如果你这里看不到spark2服务,就请检查你的CSD包和parcel包是否对应,上面的步骤是否有漏掉。正常情况下,应该是能用了。
- 8.修改spark中的SPARK_KAFKA_VERSION配置为none(该参数调优根据项目实际情况,可跳过)
- 9.修改spark中的spark.dynamicAllocation.enabled=false,关闭动态分配executors数
- 三. 测试Spark2
- 四. 常见错误处理
- 五. 参考文档
写在前面
本次测试环境:
- 操作系统:CentOS 7.4
- CM/CDH版本:CM5.15.2/ CDH5.13.3
Spark1的版本在CDH已经集成,但Spark2并未集成,本方案适用于在CDH5.13.3下集成Spark2
一. 安装准备
1. 下载csd包
下载地址为http://archive.cloudera.com/spark2/csd/
2. 下载parcel包
下载地址为http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera2/
特别注意:
- 下载对应版本的包,我的CentOS7,所以下载el7的包,若是CentOS6,就要下el6的包。
- csd和parcel包会有.clouderal1和.clouderal2之分,下载parcel时注意下载对应的包。即如果下载到的是.clouderal1的csd包,下载parcel包也要下载文件名中是.clouderal1的包,不能下载.clouderal2的包,同时csd2.0的包也不能用于parcel2.1的包,不然很可能安不上。
二. 开始安装
1.安装前可以停掉集群和Cloudera Management Service
下面的操作在每个CDH节点都要进行。
3.上传CSD包到每台服务器上的/opt/cloudera/csd目录,并且修改文件的用户和组。
cd /opt/cloudera/csd
chgrp cloudera-scm SPARK2_ON_YARN-2.4.0.cloudera2.jar
chown cloudera-scm SPARK2_ON_YARN-2.4.0.cloudera2.jar
4.上传parcel包到机器的/opt/cloudera/parcel-repo目录下。
- SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
- SPARK2-2.3.0.cloudera2-1.cdh5.13.3.p0.316101-el7.parcel.sha
- manifest.json
5.如果刚刚没有停掉CM和集群,现在将他们停掉。然后运行命令。
/opt/cm-5.13.3/etc/init