spark 2.4 源码编译流程(Windows + maven)

最新推荐文章于 2022-04-26 16:11:00 发布
最新推荐文章于 2022-04-26 16:11:00 发布
阅读量156 收藏
点赞数
分类专栏： 大数据 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juemingxiaodudu/article/details/119212157
版权

spark 2.4 源码编译流程(Windows + maven)

环境准备

  1. maven 3.5以上
  2. git
  3. spark 源码
  4. scala 2.11.x

spark pom.xml 文件修改两处

  1. maven版本改成本机环境的版本
    在这里插入图片描述
  2. scala 版本改成 本机环境的版本
    在这里插入图片描述

在spark源码目录中打开gitbash

这里编译需要bash环境 如果直接用cmd 进行编译会报错
执行命令 mvn clean package -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.5 -DskipTests=true
hadoop 版本选择spark源码中hadoop的版本
最后等待编译完成
在这里插入图片描述

绝命小嘟嘟
关注
专栏目录
Spark 源码编译完整教程（maven编译+sbt编译+编译工具包+操作步骤笔记+依赖包下载镜像设置）
03-08
自己学习并应用Spark一段时间后，由于需要改源代码，就研究了下怎么编译源码，成功编译后，记录下了编译的步骤和遇到的问题，例如编译过程中，下载大量的依赖包，默认从国外下载，非常慢，可能要编译好几个小时，...
一、Spark 2.4.0 源码编译
qq_31806205的博客
04-21 651
1.环境准备 JAVA java的话，直接安装个1.8就行了，配置好环境变量和JAVA_HOME，在cmd当中java一下，确认java安装好即可。 scala scala安装和java类似，把Scala安装包解压，然后配置好Windows环境变量中的path当中还有SCALA_HOME，这里根据你想要阅读的源码，选择合适的scala版本，我用的是scala 2.11版本，然后scala ...
spark-2.4.0 源码编译
无名虫博客
01-06 1482
环境：   hadoop2.6.0-cdh5.7.0   jdk 8 +   maven 3.5.4 +   scala 2.11 这里提醒下，spark2.4.0之前的版本maven使用 3.3.9+ 就可以了; spark2.2.0之前的版本支持jdk 7。 源码下载安装 [hadoop@hdp001 softwore]$ wget https://archi...
编译Spark2.4.2源码
moyuan的博客
04-28 708
Spark源码的编译，可以查阅下述文档来进行编译： http://spark.apache.org/docs/latest/building-spark.html 可从文档中得知，编译前置环境要求： 1.Maven 3.5.4+ 2.Java 8 在这里我们使用Spark 源码包 中 /dev/make-distribution.sh脚本进行源码编译，通过查看该脚本我们可以发现一些参数设置上的原由...
使用spark2.4和maven3.6.0组合开发踩过的坑
Ran_记忆犹新的博客
03-04 1983
ERROR：thread "main" java.lang.ArrayIndexOutOfBoundsException: 10582 这是paranamer版本的问题。在spark-core / spark-sql之前添加以下依赖项。 <dependency> <groupId>com.thoughtworks.paranamer</groupId&g...
spark2.4.0 scala2.11.12 Maven构建 pom.xml
星辰大数据的博客
04-26 3335
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/maven-v4_0...
【spark2.4.4源码编译】windows环境编译spark2.4.4
01-20
windows环境编译spark2.4.4源码环境要求环境安装源码下载源码编译注意事项后记 环境要求 操作系统环境：Windows 10（Windows7、Windows8亦可） Java版本： jdk1.8 Scala版本：2.11.0 Maven版本：3.5.4 Git版本：版本...
Spark-wordcount:spark wordcount示例| 在Eclipse + Maven + Scala Project + Spark中构建
04-28
Eclipse+Maven+Scala Project+Spark | 编译并打包wordcount程序 学习用Eclipse+Maven来构建并打包一个简单的单词统计的例程。 第一步 在EclipseIDE中安装Scala插件 在Eclipse中安装Scala插件 第二步 创建Scala ...
基于SpringMVC+Spring+MyBatis+Maven项目案例源码+数据库.zip
01-09
基于SpringMVC+Spring+MyBatis+Maven项目案例源码+数据库.zip 基于SpringMVC+Spring+MyBatis+Maven项目案例源码+数据库.zip 基于SpringMVC+Spring+MyBatis+Maven项目案例源码+数据库.zip 基于SpringMVC+Spring+...
基于SSM+maven+httpClient+jsoup实现小说网站项目源码.zip
最新发布
01-09
基于SSM+maven+httpClient+jsoup实现小说网站项目源码.zip 基于SSM+maven+httpClient+jsoup实现小说网站项目源码.zip 基于SSM+maven+httpClient+jsoup实现小说网站项目源码.zip 基于SSM+maven+httpClient+jsoup实现...
Spark 2.4.0 编程指南--快速入门
大数据技术分享
12-18 1659
Spark 2.4.0 编程指南–快速入门 更多资源 github: https://github.com/opensourceteams/spark-scala-maven-2.4.0 视频 Spark 2.4.0 编程指南–快速入门(bilibili视频) : https://www.bilibili.com/video/av38193405/?p=2 文档 (官网文档): h...
spark需要maven管理吗_使用spark2.4和maven3.6.0组合开发踩过的坑
weixin_29409045的博客
01-30 194
ERROR：thread "main" java.lang.ArrayIndexOutOfBoundsException: 10582这是paranamer版本的问题。在spark-core / spark-sql之前添加以下依赖项。com.thoughtworks.paranamerparanamer2.8Exception in thread "main" java.lang.NoSuchMe...
spark本地开发环境搭建（maven + scala + java）
克念的blog
06-23 1547
开发工具和软件版本信息 IDEA 2019.2 JAVA 1.8 Scala 2.11.12 Spark 2.4.3 Hadoop 2.7.7 Windows ...
【spark2.4.4源码编译】windows环境编译spark2.4.4源码
热门推荐
Jack_Roy的博客
11-09 1万+
windows环境下如何编译spark2.4.4源码环境要求环境安装源码下载源码编译注意事项后记 环境要求 操作系统环境：Windows 10（Windows7、Windows8亦可） Java版本： jdk1.8 Scala版本：2.11.0 Maven版本：3.5.4 Git版本：版本无要求 以上相关组件的版本是根据spark2.4.4源码的pom文件里的组件版本进行梳理的： 根据这组配置...
windows Spark 2.4 通过mvn源码编译
lzzyok的专栏
03-04 886
网上很多Spark 源码编译是1.x的，现在主要版本已经是2.3了，在学习过程中想对Spark源码学习，所以就进行了2.4版本的源码编译。在这个过程中也遇到一些坑。随便记录一下软件要求1、jdk1.82、maven 3.3+3、scala 2.11+4、sbt 0.13.125、git6、IntelliJ IDEA对于1-5项配置环境变量 path。特别是对git的配置一定不要忘记。因为spark...
Spark2.4.0源码编译支持hadoop-2.6.0-cdh5.7.0
浮生、佐以酒
01-30 655
软件包 JDK1.8.0_45 Hadoop-2.6.0-cdh5.7.0 scala-2.11.8 Hadoop-2.6.0-cdh5.7.0 apache-maven-3.3.9 环境变量配置 export JAVA_HOME=/home/hadoop001/app/jdk1.8.0_45 export PATH=$JAVA_HOME/bin:$PATH export HADOOP_HOM...
Spark安装和编程实践（Spark2.4.0）
weixin_43279138的博客
04-26 3433
Spark安装和编程实践(Spark2.4.0) 1、安装 Spark2.4.0 首先需要下载Spark安装文件。访问Spark官方下载地址，按照如下图下载。 需要注意的是，本教程内容中Spark采用Local模式进行安装，也就是在单机上运行Spark，因此，在安装Hadoop时，需要按照伪分布式模式进行安装。在单台机器上按照Hadoop(伪分布式)+Spark(Local模式)这种方式进行Ha...
搭建maven项目的spark的pom依赖
EstelleMan的博客
01-24 4765
&lt;?xml version="1.0" encoding="UTF-8"?&gt; &lt;project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://
maven :替换中央库
做你想做的人，没有时间的限制，只要愿意，什么时候都可以start。
07-02 232
两种方案： 1.在settings.xml里配置 <mirrors> <!-- mirror | Specifies a repository mirror site to use instead of a given repository. The repository that | this mirror serves has an ID t...
spark+eclipse+java+maven windows开发环境搭建及入门实例【附详细代码】
06-28
很高兴为您提供关于spark+eclipse+java+maven在windows开发环境搭建及入门实例的详细步骤和代码。 1. 安装Java JDK 首先，您需要在Windows上安装Java JDK。您可以从Oracle官方网站下载Java JDK并按照提示进行安装...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值