spark源码编译

在我们学习spark的时候，先了解了spark的基本原理，接下来就是需要搭建spark的开发环境以及源码阅读环境
源码阅读环境很多朋友在搭建的时候总是会出现这么那么多的问题，接下来由我一步一步告诉搭建如何搭建spark源码阅读的环境

环境:
window 7 64位操作系统
maven :apache-maven-3.5.0
jdk :1.7.0_51
scala:2.11.0
spark:1.6.3
idea：2017.1.5
关于 jdk scala idea maven等这些的安装就不介绍了。

配置:
1、配置maven的settings文件。在mirrors标签内添加下面的内容，其实主要是用到了nexus-aliyun的这个私服，其他2个是因为有些jar包在阿里私服里面没有，但是在maven中心仓库查看着在另外的私服里面，所以配置了其他的2个。建议：首先只配置阿里的私服，当出错了需要用其他的才配置其他的，因为从阿里私服下载jar速度还是很快的。

 <mirror>
        <id>scalanlp</id>
        <mirrorOf>*</mirrorOf>
        <name>scalanlp</name>
        <url>http://scalanlp.org/</url>
    </mirror> 
     <mirror>
        <id>spring</id>
        <mirrorOf>*</mirrorOf>
        <name>Spring</name>
        <url>http://repo.spring.io/plugins-release/</url>
    </mirror>  
     <mirror>
        <id>nexus-aliyun</id>
        <mirrorOf>*</mirrorOf>
        <name>Nexus aliyun</name>
        <url>http://maven.aliyun.com/nexus/content/groups/public</url>
    </mirror> 

2、配置idea工具
2、1配置maven的环境信息

2、2 jdk的配置

3、开始导入spark的源代码
选择File->Open

选择spark源码的路径在点击OK

以上步骤就会将spark的源码导入idea工具里面，接下来就是编译spark的源码
编译过程:
选择编译的过程

点击compile以后在idea的下面会出现这么一个窗口，这里我们就查看编译的过程，由于编译过程需要下载很多jar包，所以这个需要一定的时间，大家安心等待就可以了，如果是从阿里私服下载的话，还是很快的

当出现了build success的时候说明编译已经成功了。我这个是再次编译所以只用了2分钟，首次编译一把需要半个小时到一个小时。这个和网络有关系

希望大家能自己编译spark成功。