Windows下从源代码构建Spark

文章参考自：http://www.jianshu.com/p/6ad9dc90b7a5，谢谢作者的辛苦奉献。

基于作者的文章的思路来构建Spark源代码完全没有问题，这里记录一下自己在构建的时候遇到的一些问题。

1、sbt的安装配置
下载sbt安装版进行安装之后，会自动配置环境变量，在命令行中输入sbt命令，此时会开始下载相关的依赖包。在安装之后要做如下配置：
(1)、在SBT官网中下载安装文件，安装文件的一个好处是可以自动为你配置好环境变量。
(2)、打开bin目录下的sbt.bat文件发现有下面一句话：
set FN=%SBT_HOME%..\conf\sbtconfig.txt
说明sbt的配置信息写在conf下的sbtconfig.txt文件中
打开该文件，在文件中添加如下信息：
-Dfile.encoding=UTF8
-Dsbt.boot.directory=e:/sbt/boot/
-Dsbt.ivy.home=e:/sbt/
用于配置jar包下载路径，默认下载在C盘，总是不太好的
(3)、设置私服加快下载速度：在用户目录下创建.sbt目录，放一个repositories文件，内容为：
[repositories]
local
aliyun nexus:http://127.0.0.1:8081/nexus/content/groups/public/
typesafe-ivy-releases: http://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/artifact.[ext]
maven-central
sonatype-snapshots: https://oss.sonatype.org/content/repositories/snapshots
(4)、打开命令窗口，输入sbt会自动下载依赖的jar包

如果想验证私服设置有没有起作用，可以随便改一下上述链接，再去命令窗口中输入sbt，看看是不是会提示错误。这里做一点说明，虽然说采用默认的服务器进行下载会很慢，但是不一定私服就是好的，有的时候如果采用私服下载失败，不妨尝试采用默认服务器，虽然慢点，但是不会失败，后面maven的服务器配置中采用默认的配置就要好于采用镜像进行下载。

2、使用maven编译spark源码
通过git下载了spark源码之后就是采用maven进行编译，命令行窗口中进入spark目录，git的默认下载目录是用户目录下”Users/用户名”，切换到该目录中后，输入第一条命令：

set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m

此时会发现提示JVM不支持2G的这么大的内存，但是改小了之后虽然不报错，但是编译过程中会出错，最后经过不断的百度发现，原来是自己的jdk是32位的，32位不支持这么高的内存，换成64位之后就没有问题了。
maven编译过程中需要下载相关的依赖包，根据文章中提示更改的下载镜像地址配置总是会出错，后来发现采用默认的配置下载速度也挺快的，并且都可以成功下载，不会出现问题。

3、导入到IDEA中，会提示“java 无效的源代码版本”相关错误，此时只需要设置一下项目的jdk版本更高一点即可：

file --> project structure --> Project settings --> project --> Project SDK 

解决上述问题之后，自己的电脑中可以成功导入Spark源码