CDH 5.16.1 离线安装 Spark 2.3

1.环境

CDH 5.16.1
Centos 7.6
Scala 2.11.8

2.安装前准备

1.下载 Spark2.3 所需的Parcel包

http://archive.cloudera.com/spark2/parcels/2.3.0.cloudera4/

将三个文件拷贝到 /opt/cloudera/parcel-repo 目录下,如果有有相同文件,就将之前的文件重命名

2.下载Spark 的csd 包

http://archive.cloudera.com/spark2/csd/

将 SPARK2_ON_YARN-2.3.0.cloudera4.jar 拷贝到 /opt/cloudera/csd 目录中

3.重启CM和集群

4.安装Spark

依次点击 “主机” --> “parcel” --> “检查新parcel” --> “分配” --> “激活”

5.问题

1.启动Spark2-shell报错

解决办法:修改 yarn.scheduler.maximum-allocation-mb 和 yarn.nodemanager.resource.memory-mb的默认值为2G

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值