ubuntu+idea+maven阅读spark源码

环境：ubuntu-18.04.4+jdk1.8+maven3.6.3，下文中的hadoop为我的用户名

1.maven的安装

下载maven压缩包，我下载的是3.6.3版本

在/usr/lib下新建目录maven-->sudo mkdir maven

将压缩包解压到该目录下，

然后在~/.bashrc下添加目录：vim ~/.bashrc

在终端输入source ~/.bashrc使路径生效

终端输入mvn -v查看是否安装成功：

2.idea的安装

去官网下载压缩包，解压缩即可

在bin目录下执行./idea.sh启动安装

记得创建桌面应用，下次就不用控制台启动了

3.修改Maven本地仓库的位置

查看idea的Maven的仓库地址：

在file->settings->build,ex...->maven:

修改maven home directory为本地maven地址，local repository为/home/hadoop/.m2/repository

在下面的目录下找到settings.xml文件

vim setting.xml

修改localRepository,记住修改完不要注释

4.下载spark源码

记住是源码：

5.准备编译源码：

解压源码

修改pom.xml，

修改maven，和scala版本和本地的一致

6.执行命令：

在spark源码的解压目录执行./build/mvn -DskipTests clean package

等待编译成功，显示build success

7.idea下载scala，如果下载的慢，可以通过官网下载压缩包再导入，直接导入，不用解压

8idea导入项目，选择spark源码中的pom.xml

9.修改项目配置：

导入/home/hadoop/sparksrc/assembly/target/scala-2.11/jars

修改local运行配置：VM options: -Dspark.master=local

10.运行example：Run ‘LogQuery’