spark运行自带例子_Spark 3.0源码编译及运行

为了研究这个费了半天劲，简单记录下来。

1.源码下载

正常来说，应该去github，找对应分支。3.0已经是最新版了，直接下载master就行了。但实在是太慢了，去gitee上去下载吧，找一下spark,源码下载下来。如果使用idea，可以直接在VCS中输入地址，然后等待下载完成。

2.编译

编译主要依赖三个条件java 1.8(其他版本没试过)

scala 2.12.10

maven 3.6以上

我使用的是ubuntu18.04，可以直接使用sudo apt-install方法，scala没有，需要到官网上上下deb包，dpkg -i即可。

一定要注意，JAVA_HOME一定要设置对，JAVA1.8用oracle的包比较靠谱点，但估计也没啥关系。

并且echo $JAVA_HOME的时候一定不能是空(因为这个问题曾导致javac有问题，编译不过去)。

我是直接使用idea的VCS下载的源码，下载下来直接就是一个工程了。首先在这个工程中设置一下settitngs.xml,为了加快速度，将mirror或者repository换成阿里云的地址。

工程的pom.xml需要改动，首先把gcs_maven_central_mirror和有googleapis的那部分去掉，地址换成阿里云的：

那个地方也改改，改成上面阿里云的地址。

这样能保证下载包的时候速度比较快了。

将和改成与自己的java和maven一模一样的版本号，比如我填写的是3.6.0和1.8，这里maven版本是指自己在shell中使用mvn -version时显示的版