win7 下 eclipse 编译 spark2.1.0源码

环境

1. jdk1.8
2. scala-2.10.6
3. sbt-0.13.17
4. git-2.19.0
   确保以上都加入环境变量中。
5. spark2.1.0
6. eclipse (Version: Oxygen.3a Release (4.7.3a))
7. eclipse Scala IDE (打开eclipse -> help -> Eclipse Marketplace -> 输入scala 搜索安装)

spark编译

1. 下载spark源码解压
2. win+R cmd进入命令行模式 ，进入spark源码根目录

3. 执行sbt命令
   
   

4. 执行eclipse命令
   
   

5. 将spark 源码以maven项目的方式导入eclipse中

1. mvn -DskipTests clean package
   

报错

编译打包过程中可能出现的问题

    （1）、Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.8:run (default) on project spark-core_2.11: An Ant BuildException has occured: Execute failed: java.io.IOException: Cannot run program "bash" (in directory "C:\soft\spark\spark-2.0.0\core"): CreateProcess error=2,
[ERROR] around Ant part ...<exec executable="bash">... @ 4:27 in C:\soft\spark\spark-2.0.0\core\target\antrun\build-main.xml
[ERROR] -> [Help 1]

解决方案
安装git，
将Git下面的bin路径加入系统Path中
并修改 源码配置文件 F:\spark\spark_source\t4est\spark-2.1.0\core\pom.xml 第368行
将bash修改为绝对路径

1. 编译成功