CDH之CDS部署与测试：CDH 部署Spark2.4.0（Centos7.2 | CDH5.16.1 | Spark2.4.0）

最新推荐文章于 2020-11-28 15:17:18 发布

muyingmiao

最新推荐文章于 2020-11-28 15:17:18 发布

阅读量623

点赞数

分类专栏： CDH

本文链接：https://blog.csdn.net/muyingmiao/article/details/102720802

版权

本文档详细介绍了在CDH上部署Spark2.4.0的过程，包括查看官方文档、下载配置依赖、激活parcel、添加Spark2服务以及通过测试作业验证安装成功。

摘要由CSDN通过智能技术生成

0 CDH的Spark
CDH上面Spark的版本都是1.6的版本

1.查看官网部署文档
https://docs.cloudera.com/documentation/spark2/latest.html
官网给出的一些建议和前置条件，

https://docs.cloudera.com/documentation/spark2/latest/topics/spark2_requirements.html
2. 下载和配置Spark相关的依赖
2.1 下载依赖包

[root@hadoop001 spark2_parcel]# wget http://archive.cloudera.com/spark2/csd/SPARK2_ON_YARN-2.4.0.cloudera2.jar
[root@hadoop001 spark2_parcel]# wget http://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
[root@hadoop001 spark2_parcel]# wget http://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
[root@hadoop001 spark2_parcel]# wget http://archive.cloudera.com/spark2/parcels/2.4.0.cloudera2/manifest.json

[root@hadoop001 spark2_parcel]# ll
total 194296
-rw-r--r-- 1 root root      5181 Apr 29 22:27 manifest.json
-rw-r--r-- 1 root root 198924405 Apr 29 22:27 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel
-rw-r--r-- 1 root root        41 Apr 29 22:27 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1
-rw-r--r-- 1 root root     19066 Apr 29 22:27 SPARK2_ON_YARN-2.4.0.cloudera2.jar
[root@hadoop001 spark2_parcel]#

2.2 配置CDH所需的Spark依赖仓库

[root@hadoop001 spark2_parcel]# mv SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha1 SPARK2-2.4.0.cloudera2-1.cdh5.13.3.p0.1041012-el7.parcel.sha
[root&#