基于Hadoop CDH进行Spark编译

最新推荐文章于 2021-09-18 15:18:23 发布
最新推荐文章于 2021-09-18 15:18:23 发布
阅读量873 收藏 1
点赞数 2
分类专栏： 大数据 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tch918/article/details/89762325
版权
本文档介绍了如何在CDH环境下编译Apache Spark-2.4.0。首先从官方地址下载Spark源码，然后修改make-distribution.sh和pom.xml文件，特别是为CDH添加仓库。编译前需设置Maven内存使用，以防CompileFailed错误。成功编译后，解压并配置环境变量，最后可以本地启动Spark进行测试。
摘要由CSDN通过智能技术生成

Spark-2.4.0下载地址：

官方地址：https://archive.apache.org/dist/spark/spark-2.4.2/spark-2.4.2.tgz

编译Spark源码的文档(参考官方文档)

http://spark.apache.org/docs/latest/building-spark.html

编译Spark源码的前置要求

软件

Hadoop

scala

maven

JDK

版本

2.6.0-cdh5.7.0

2.11.12

3.6.1

jdk1.8.0_45

编译与配置：

1解压Spark源码：

1

2

3

4

5

6

7

[hadoop@hadoop001 software]$ ll spark-2.4.2.tgz

 

-rw-r--r--. 1 hadoop hadoop 16165557 4月  28 04:41 spark-2.4.2.tgz

 

[hadoop@hadoop001 software]$ tar -zxvf spark-2.4.2.tgz

 

[hadoop@hadoop001 software]$ cd spark-2.4.2

2 修改make-make-distribution.sh中的版本号，避免编译时自己取寻找，此过程比较耗时

make-distribution.sh脚本的Github地址：

https://github.com/apache/spark/blob/master/dev/make-distribution.sh

1

2

3

4

5

6

7

8

9

10

11

12

13

14
最低0.47元/天 解锁文章
时光在路上
关注
专栏目录
【Spark】指定Hadoop版本进行编译Spark
晚风中的自由
10-27 1411
一、下载spark源码 1、下载源码 官网为：http://spark.apache.org/downloads.html 选择对应的spark发行版本，包类型选源码，点击download spark右侧的tgz即可下载； 由于练习需要，下载的是spark-1.3.0.tgz； 2、安装依赖的环境 spark-1.3.0 依赖的环境有： maven版本：apache-maven...
Spark编译与部署（中）--Hadoop编译安装
07-11
Spark编译与部署（中）--Hadoop编译安装
Spark入门实战系列--2.Spark编译与部署（中）--Hadoop编译安装
yyy
09-09 618
实验相关的测试数据和安装包放在百度盘提提供下载，地址为http://pan.baidu.com/s/1pJyyB6j。 原创地址为：http://www.cnblogs.com/shishanyuan 1、编译Hadooop 1.1 搭建环境 1.1.1 安装并设置maven 1. 下载maven安装包，建议安装3.0以上版本，本次安装选择的是maven3.0.5的二进制包，下载
Linux平台spark-cdh源码编译
fanxl10的专栏
02-28 422
下载spark源码，这里版本用的是2.1.0，下载后解压即可 官方下载地址 安装并配置maven 2.1 设置MAVEN_HOME export MAVEN_HOME=maven的安装目录 export PATH=$PATH:$MAVEN_HOME/bin 2.2 设置阿里云镜像地址，这样maven编译打包速度会快很多，在maven的conf文件夹下的setting.xml文件中添加 &lt...
CDH的hadoop与Spark套件组安装
weixin_33849942的博客
09-15 298
1.解压JDBC并复制到cm目录中 tar -zxvf mysql-connector-java-5.1.43.tar.gz cp /opt/mysql-connector-java-5.1.43/mysql-connector-java-5.1.43-bin.jar /opt/cm-5.10.0/share/cmf/lib/ ...
Spark编译hadoop-2.6.0-cdh2.7.0
゛Never give up~
05-05 252
前提 在这里我们编译的是Spark2.2.0,Hadoop版本为hadoop-2.6.0-cdh5.7.0，Scala版本为2.11.8 更多关于编译Spark2.2.0参见Spark编译官方文档 环境要求 The Maven-based build is the build of reference for Apache Spark. Building Spark using Maven re...
适配CDH6.3.2的Spark3.2.2
08-16
在使用"spark-3.2.2-bin-3.0.0-cdh6.3.2"这个压缩包时，用户可以直接在CDH6.3.2环境中运行，无需再进行编译，确保了与CDH组件的兼容性和稳定性。需要注意的是，安装和配置Spark时，要遵循CDH的官方文档，以确保所有...
spark2.3.3-hadoop2.6.0-cdh-5.15.2重新编译
04-27
带编译所需的maven库，spark2.3.3源码基于hadoop2.6.0-cdh-5.15.2进行重新编译
spark-3.2.2-bin-3.0.0-cdh6.3.2
10-20
内容概要：由于cdh6.3.2的spark版本为2.4.0，并且spark-sql被阉割，现基于cdh6.3.2，scala2.12.0，java1.8，maven3.6.3，,对spark-3.2.2源码进行编译 应用：该资源可用于cdh6.3.2集群配置spark客户端，用于spark-sql
spark1.0编译并解决与cdh5.0兼容问题
weixin_34342905的博客
06-20 87
最近想将spark升级到1.0，看了看官网的介绍，1.0的变动还是蛮大的，包括提交的方式，加入对kafka,flume等的支持。于是官网下载1.0的source自己用maven编译。首先需要升级下scala,0.9对应的是scala-2.9.x,1.0需要升级到scala-2.10.x。然后按照spark官网的提示首先设置maven的java虚拟机参数expo...
Hadoop+Hbase+Spark+Hive搭建
08-12
全套的Hadoop+Hbase+Spark+Hive搭建指导手册
spark2-release-HDP-2.6.4.0-91-tag在CentOS7上的源码编译
TT-Learning
06-19 731
文章目录Spark2编译准备下载：maven环境搭建Scala环境搭建Spark2编译设置 make-distribution.sh执行编译命令 Spark2编译准备 下载： https://github.com/hortonworks/spark2-release/releases/tag/HDP-2.6.4.0-91-tag https://github.com/hortonworks/sp...
Spark源码编译教程
GulfMoon
08-16 2965
一、背景 从Spark官网https://spark.apache.org/ 下载的预编译版本的Spark，受到诸多限制： 1. 比如我们生产环境使用的Hadoop是CDH版本，那么从官网下载的预编译版本就不能使用； 2. 为了兼容Spark新特性，生产环境只升级了HDFS组件，那么预编译版本也不能使用； 因此，为了更好的兼容生产环境中大数据生态组件，我们必须学会如何编译Spark源码。 ...
cdh5 下面编译spark1.1踩过的坑
01-04 153
MVN 需要设置内存使用 并且设置java环境 java版本 java版本必须使用1.6的编译.否则会有问题 protobuf的版本 修改pom.xml文件 2.4.1 to 2.5.0
自行编译spark适配CDH 6.3.2
ChengYanan的博客
09-18 3240
我们用的是CDH 6.3.2,内置的spark版本是2.4.0，有两个问题： cdh6之后就取消了spark-sql客户端 hudi 0.9.0 仅支持 spark 2.4.4之后的版本 所以就想自己安装个spark使用。 1.下载spark 3.1.2 版本源码 https://spark.apache.org/downloads.html 2.修改pom文件 增加cloudera maven仓库 <repositories> <repository> <
java连接cdh集群_Alluxio集群部署整合CDH（Hive/Spark）
weixin_35805266的博客
02-25 462
Linux环境：centos7.4CDH：5.16.1Java：1.8.0_131Alluxio：2.3.0编译修改配置文件cp conf/alluxio-site.properties.template conf/alluxio-site.propertiesvim alluxio-site.properties![](https://img2020.cnblogs.com/blog/19173...
java cdh hbase_在CDH集群中使用spark插入Hbase
weixin_39598796的博客
02-16 327
需求百亿级数据实时查询，数据有两列：电话MD5(rowkey CELLPHONE_MD5)、电话( CELLPHONE)创建Hbase表可以通过两种方式连接Hbase：phoenix 或者hbase shellphoenix可以提供类sql的方式进行hbase的操作，容易接受一些hbase shell 通过hbase相关命令操作，相对复杂phoenix提供相对格式化的输出，比较美观(例如执行查看所...
Spark源码的编译过程详细解读(各版本)（博主推荐）
奋斗吧_-小青年
05-12 3139
说在前面的话  　　重新试多几次。编译过程中会出现下载某个包的时间太久，这是由于连接网站的过程中会出现假死，按ctrl+c，重新运行编译命令。  如果出现缺少了某个文件的情况，则要先清理maven(使用命令 mvn clean) 再重新编译。  Spark源码编译的3大方式　 　　1、Maven编译 　　2、SBT编译  （暂时没） 　　3、打包编译make-dis
编译Spark2.+ 、Hadoop CDH 版本
行走的树
01-11 1683
参考官方文档：http://spark.apache.org/docs/latest/building-spark.html Spark2.2+移除了对hadoop2.5的支持！！！ 一、 Spark-2.1.2 编译环境准备 1、hadoop-2.5.0-cdh5.3.6 2、安装并配置好Maven(本次编译使用apache maven 3.3.9) 3、 安装并配置JDK(本次编译使...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值