win10环境下的spark2.4源码环境搭建

已于 2022-02-17 11:48:28 修改
阅读量1.9k 收藏 10
点赞数 28
分类专栏： 大数据开发 文章标签： intellij-idea maven spark
于 2022-02-17 11:44:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_59811476/article/details/122969515
版权
本文详细介绍了在Windows 10环境下搭建Spark 2.4.8源码的步骤，包括JDK、Scala、Maven的安装，以及源码的获取和编译。在IDEA中配置Maven国内源，解决`spark-version-info.properties`缺失问题，并成功执行JavaWordCount案例。文章提供了相关报错的解决方案和环境配置文件的示例。
摘要由CSDN通过智能技术生成

spark2.4源码环境搭建

1.概述

2.版本信息及环境

项目版本备注
oswin10
jdk1.8
scala2.11.12
spark2.4.8
maven5.8.1可使用与源码一致版本
sbt1.4未发现作用
idea2020.03

3.基础环境准备

请自行查阅资料安装如下组件：

  1. win10本地安装jdk .
  2. win10本地安装scala .
  3. win10本地安装maven .

4.源码准备

fork Spark源码1至个人GIT仓库，idea配置下github拉下来。太简单了就不写了。

5.IDEA设置

5.1 IDEA内maven插件设置与更新

在这里插入图片描述
国内源配置文件 settings.xml 请参见附录1.

5.2 IDEA内导入spark各个模块

在这里插入图片描述

6. 编译spark 与执行JavaWordCount 案例

6.1 指定版本编译spark

在idea terminal 下进入spark源码根目录，指定Hadoop和yarn的版本，编译：

mvn -Pyarn -Phadoop-2.6 -Dhadoop.version=2.6.0 -DskipTests clean package

ps:hadoop2.7较为稳定，但我本地是hadoop2.6的环境，所以保持现状.

若成功则显示如下图2
在这里插入图片描述

6.2 spark-version-info.properties 文件处理

3用git bash以管理员身份运行build/spark-build-info 用以生成spark-version-info.properties文件

build/spark-build-info  D:\目录路径

将生成的spark-version-info.properties文件复制到spark-core_2.11-2.4.0-SNAPSHOT.jar
这个jar包的根目录中。(复制之前先检查根目录下是否存在spark-version-info.properties，不存在再复制)
在这里插入图片描述

ps: 不添加会报 Could not find spark-version-info.properties 错4 ,报错详见附录2.

但我在尝试执行上述 build/spark-build-info 命令时候报错了，于是我打开了这个shell手动生成了spark-version-info.properties文件

关键shell语句如下：
echo_build_properties() {
  echo version=$1       --版本号
  echo user=$USER       --用户名
  echo revision=$(git rev-parse HEAD)   --很长的版本号
  echo branch=$(git rev-parse --abbrev-ref HEAD) --分支
  echo date=$(date -u +%Y-%m-%dT%H:%M:%SZ)       --日期
  echo url=$(git config --get remote.origin.url |  sed 's|https://\(.*\)@\(.*\)|https://\2|')
}

在git bash 执行生成结果如下图
在这里插入图片描述
最后生成的 spark-version-info.properties 文件内容参见附录3.

6.3 添加jar包添加至需要的classpath

本文是以测试 JavaWordCount 程序作为源码环境成功观测点，所以是将相关jar包添加至 examples 模块。5
在这里插入图片描述

6.4 JavaWordCount 执行环境设置

在这里插入图片描述

6.5 设置计算data原始文件

在这里插入图片描述
ps:data原始文件 cnt.txt 内容参见附录4.
至此，spark源码调试阅读环境搭建好了！！

附录

1). maven settings.xml国内源配置

<?xml version="1.0" encoding="UTF-8"?>
<settings xsi:schemaLocation="http://maven.apache.org/SETTINGS/1.1.0 http://maven.apache.org/xsd/settings-1.1.0.xsd" xmlns="http://maven.apache.org/SETTINGS/1.1.0"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance">
    <!--本地仓库位置设置 -->
    <localRepository>D:\mvn_res</localRepository>
  <servers>
    <server>
      <id>AUTOHOME</id>
      <username>admin</username>
      <password>admin123</password>
    </server>
  
  </servers>
<mirrors>
        <mirror>
            <id>alimaven</id>
            <mirrorOf>central</mirrorOf>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
        </mirror>
        <mirror>
            <id>alimaven</id>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
            <mirrorOf>central</mirrorOf>
        </mirror>
        <mirror>
            <id>central</id>
            <name>Maven Repository Switchboard</name>
            <url>http://repo1.maven.org/maven2/</url>
            <mirrorOf>central</mirrorOf>
        </mirror>
        <mirror>
            <id>repo2</id>
            <mirrorOf>central</mirrorOf>
            <name>Human Readable Name for this Mirror.</name>
            <url>http://repo2.maven.org/maven2/</url>
        </mirror>
        <mirror>
            <id>ibiblio</id>
            <mirrorOf>central</mirrorOf>
            <name>Human Readable Name for this Mirror.</name>
            <url>http://mirrors.ibiblio.org/pub/mirrors/maven2/</url>
        </mirror>
        <mirror>
            <id>jboss-public-repository-group</id>
            <mirrorOf>central</mirrorOf>
            <name>JBoss Public Repository Group</name>
            <url>http://repository.jboss.org/nexus/content/groups/public</url>
        </mirror>
        <mirror>
            <id>google-maven-central</id>
            <name>Google Maven Central</name>
            <url>https://maven-central.storage.googleapis.com
            </url>
            <mirrorOf>central</mirrorOf>
        </mirror>
        <!-- 中央仓库在中国的镜像 -->
        <mirror>
            <id>maven.net.cn</id>
            <name>oneof the central mirrors in china</name>
            <url>http://maven.net.cn/content/groups/public/</url>
            <mirrorOf>central</mirrorOf>
        </mirror>
		
		<!--华为云MRS开发MAVEN库 -->
		<mirror>
			<id>repo2</id>
			<mirrorOf>central</mirrorOf>
			<url>http://repo2.maven.org/maven2/</url>
		</mirror>
		<!--华为云MRS开发MAVEN库 -->
		
    </mirrors>
  <profiles>

    <profile>
      <id>rep</id>
      <repositories>
	  
	    <!--添加cloudera的repository-->
    <repository>
      <id>cloudera</id>
      <url>https://repository.cloudera.com/artifactory/cloudera-repos</url>
    </repository>

	  
        <repository>
		
		<!--阿里云国内镜像 -->
            <id>alimaven</id>
            <name>Maven Aliyun Mirror</name>
            <url>http://maven.aliyun.com/nexus/content/repositories/central/</url>
            <releases>
                <enabled>true</enabled>
            </releases>
            <snapshots>
                <enabled>false</enabled>
            </snapshots>
        </repository>
		<!--阿里云国内镜像 -->
		
		
		<!--华为云MRS开发MAVEN库 -->
		<repository>
            <id>huaweicloudsdk</id>
            <url>https://repo.huaweicloud.com/repository/maven/huaweicloudsdk/</url>
            <releases><enabled>true</enabled></releases>
            <snapshots><enabled>true</enabled></snapshots>
        </repository>
		<!--华为云MRS开发MAVEN库 -->
		
      </repositories>
    </profile>


  </profiles>

  <activeProfiles>
		<!--华为云MRS开发MAVEN库 -->
		<activeProfile>alimavenspark</activeProfile>
		<!--华为云MRS开发MAVEN库 -->
		
  </activeProfiles>

</settings>

2). Could not find spark-version-info.properties 报错详情

Connected to the target VM, address: '127.0.0.1:60929', transport: 'socket'
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Exception in thread "main" java.lang.ExceptionInInitializerError
	at org.apache.spark.package$.<init>(package.scala:93)
	at org.apache.spark.package$.<clinit>(package.scala)
	at org.apache.spark.SparkContext$$anonfun$3.apply(SparkContext.scala:183)
	at org.apache.spark.SparkContext$$anonfun$3.apply(SparkContext.scala:183)
	at org.apache.spark.internal.Logging$class.logInfo(Logging.scala:54)
	at org.apache.spark.SparkContext.logInfo(SparkContext.scala:73)
	at org.apache.spark.SparkContext.<init>(SparkContext.scala:183)
	at org.apache.spark.SparkContext$.getOrCreate(SparkContext.scala:2526)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:930)
	at org.apache.spark.sql.SparkSession$Builder$$anonfun$7.apply(SparkSession.scala:921)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.SparkSession$Builder.getOrCreate(SparkSession.scala:921)
	at org.apache.spark.examples.JavaWordCount.main(JavaWordCount.java:44)
Caused by: org.apache.spark.SparkException: Could not find spark-version-info.properties
	at org.apache.spark.package$SparkBuildInfo$.<init>(package.scala:62)
	at org.apache.spark.package$SparkBuildInfo$.<clinit>(package.scala)
	... 13 more
Disconnected from the target VM, address: '127.0.0.1:60929', transport: 'socket'

Process finished with exit code 1

3). spark-version-info.properties 文件内容

version=2.4.8
user=root
revision=4be566062defa249435c4d72xxxxxxxxxxxxxx
branch=branch-2.4
date=2022-02-16T09:58:54Z
url=https://github.com/你的github账号/spark.git

4). data原始文件 cnt.txt 内容

a
b
c
a
c
b
a

参考

  1. https://github.com/apache/spark spark源码官方地址 ↩︎

  2. https://blog.csdn.net/qq_27667379/article/details/80251068 析Spark源码第一步——搭建源码阅读环境 分 ↩︎

  3. https://blog.csdn.net/u011055139/article/details/81611814 windows10环境下搭建spark2.4.0源码阅读环境 ↩︎

  4. https://blog.csdn.net/ggz631047367/article/details/53811213 spark2.1源码分析1：Win10下IDEA源码阅读环境的搭建 ↩︎

  5. https://www.cnblogs.com/mracale/p/10493823.html Intellij IDEA 添加jar包的三种方式 ↩︎

m0_59811476
关注
  • 28
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Spark入门(二)——Spark环境搭建与开发环境
17611119847
05-21 1万+
Spark Standalone 和 Spark On Yarn环境搭建
Apache Spark源码阅读环境搭建
终回首的博客
08-26 478
文章目录1 下载源码2 导入项目3 新建文件4 Debug JavaWordCount遇到的报错1 未设置Master2 模块编译输出路径冲突 版本 win7 jdk 1.8 maven 3.6.3 scala 2.11.8 1 下载源码 # 下载源码 git clone https://github.com/apache/spark.git # 切换到目标版本 git checkout v2.4.0 2 导入项目 #mermaid-svg-iY0oiuQsBRWr905j .label{font-fam
Spark源码阅读环境搭建
SunnyRivers
08-28 1019
前言 对于Spark的应用，仅仅会使用期API来编程只能达到初级（助理）工程师或中级（熟练）工程师的水平，而学会调优则可以让你进阶为高级工程师。那么怎么才能成为顶尖的工程师呢？源码！ 准备工作 （1）下载IDEA （2）配置Scala2.11 （3）配置Maven （4）下载Spark源码 详细步骤 （1）官网下载 （2）打开IDEA，单击Import Project，并选择...
spark踩坑记——windows环境下spark安装和运行
最新发布
2201_76100933的博客
06-03 211
spark踩坑记——windows环境下spark安装和运行
spark源码阅读环境搭建
天龙八部
11-30 446
目录 1.环境介绍 2.源码编译 2.1编译成功的流程 3.编译中遇到的问题 3.1 在命令行直接执行编译命令 3.2 未知失败问题（重新执行后成功） 3.3编译成功后本地启动spark-shell 4.导入idear 5.执行测试案例遇到的问题和解决方法 5.1添加依赖 5.2 idear执行测试命令 1.环境介绍 用spark源码2.4.3为例 源码下载...
Spark源码阅读01：环境搭建
weixin_43851569的博客
08-29 218
源码阅读环境搭建 我这周都在抽时间尝试把Spark源码编译成功。刚开始我选择的版本是 2.3+ 发现怎么都编译不成功。遇到的一个问题是 scala-maven-plugin compile failed, 查版本号，修改版本后尝试未果。选早一点的版本的想法是说，阅读源码可能会少一些，毕竟版本越高，代码越庞大和复杂。 但是早期的版本已经是过去式了，依赖的其他包库也会修改和引入新的特性，编译失败卡的时间太久了，不值得投入，遂直接拥抱 Spark 3.0 编译源码 去 github 上克隆一份代码，切换到你想看的
Spark源码阅读环境搭建详解
11-09
### Spark源码阅读环境搭建详解 #### 一、引言 随着大数据技术的快速发展，Apache Spark作为一款重要的分布式计算框架，被广泛应用于数据处理、机器学习等领域。深入了解Spark的内部工作机制，不仅能够帮助开发者...
Spark在Windows下的环境搭建方法
10-16
主要介绍了Spark在Windows下的环境搭建方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
Linux下搭建Spark 的 Python 编程环境的方法
09-15
在Linux系统中搭建Spark的Python...以上就是在Linux环境下搭建Spark的Python编程环境的详细步骤，以及在Jupyter中使用PySpark的方法。通过这些步骤，你可以顺利地开始Spark与Python的结合开发，进行大数据处理和分析。
Spark基础环境搭建.pdf
12-09
Spark基础环境搭建
【spark2.4.4源码编译】windows环境编译spark2.4.4
01-20
windows环境编译spark2.4.4源码环境要求环境安装源码下载源码编译注意事项后记 环境要求 操作系统环境：Windows 10（Windows7、Windows8亦可） Java版本： jdk1.8 Scala版本：2.11.0 Maven版本：3.5.4 Git版本：版本...
01-spark源码走读本地环境搭建
qq_31454379的博客
03-19 2251
本地环境准备必备环境spark源码导入IDE安装必备ide插件IDE配置默认maven环境项目配置jdk项目增加scala支持项目切换3.2分支编译源码运行测试类 必备环境 IDE ideaIU-2021.3.2 安装jdk并配置环境变量 maven安装，并配置环境变量 spark源码导入IDE https://github.com/apache/spark git clone https://github.com/apache/spark cd spark ## 这里主要以3.2分支为主，比较稳
spark源码 环境 配置
天下月色共三分的博客
09-08 426
spark 源码 环境配置
spark2.4本地编译调试阅读源码（windows）
u014645192的博客
01-07 1480
1.github下载源码 2.windows环境下idea直接编译会报bash环境问题，我是在gitbash环境下编译（(maven 8线程 跳过测试 打包)） cd C:\\local\\openProject\\spark-branch-2.4; C:\\local\\InstallDest\\apache-maven-3.6.3\\bin\\mvn -T 8 -DskipTests clean package 3.在这里插入图片描述 4. https://blog.csdn.net/qq_276
（转）Windows下搭建Spark源码阅读与调试环境
小蚯蚓的博客
09-19 302
【转载原因：过程详细和并且解决了windows编译的常见问题】 【转载原文：https://blog.csdn.net/do_yourself_go_on/article/details/73129408】 了解和使用Spark有一段时间了，但是对Spark的一些原理和内部机制了解的不够深入，故打算研读一下Spark源码。今天首先介绍一下Spark源码阅读与调试环境的搭建。 开发工具安装 首先是一些必要的工具的安装，这里不一一介绍了，请读者自行提前安装好：（以下工具版本可自行选择，但是要符合S.
Windows使用Idea编译spark源码
make__It的博客
11-19 3084
目录   需要准备环境 一、将源码导入IDEA 二、进行build(编译) 三、可能出现问题 四、gitBash中进行编译 五、进行自带例子测试 需要准备环境 jdk1.8.0 scala 2.11 maven 3.5.9 python idea中安装了scala pluin Git 一、将源码导入IDEA 1、在idea中安装scala插件 此处我已安装完成，请注意选择...
windows下使用idea编译spark2.x源码步骤
Ahuuua的博客
12-01 624
一开始看的这两个： https://blog.csdn.net/FishSeeker/article/details/63741265 https://juejin.im/entry/584e8e2e0ce463005c64f36c 按照他们的来 最后在cmd中进入spark根目录，mvn -T 4 -DskipTests clean package，出现了如下两个问题并解决了： htt...
windows10环境下搭建spark2.4.0源码阅读环境
u011055139的博客
08-12 1425
准备工作(默认你已经安装好jdk,scala,maven,IDEA工具) 1.下载winutils.exe 文件 winutils.exe是在Windows系统上需要的hadoop调试环境工具，里面包含一些在Windows系统下调试hadoop、spark所需 要的基本的工具类，另外在使用eclipse调试hadoop程序是，也需要winutils.exe 。 下载地址：https://git...
Spark源码编译和IDEA导入源码
jim8973的博客
04-05 631
官方部署文档：http://spark.apache.org/docs/latest/building-spark.html spark的github源码下载地址：https://github.com/apache/spark 设置maven的执行内存：export MAVEN_OPTS="-Xmx2g -XX:ReservedCodeCacheSize=1g" 打包：./build/mvn -...
"Win10下Spark本地IDEA环境搭建教程详解
在win10操作系统上，搭建Spark本地idea环境是一项非常方便的操作，特别适合进行spark及scala本地开发调试。为了实现这一目标，可以参考以下步骤： 第一步：安装OpenJDK8 首先，需要下载OpenJDK8的安装包，可以访问...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值