Intellij IDE+ Spark 2.4 例子运行（源码断点跟踪）

上一篇文章写了如何通过Maven编译源码，该篇说明如何在IDE中引入项目，并运行其中一个例子。

   要求：IDE中安装了Scala插件

一、打开IDE，并加入项目，按如下操作

Menu -> File -> Open -> {spark dir}/pom.xml -> Open as Project

二、导入spark工程后，实例代码在：在{spark dir}/examples/目录下 。双击“Shift”键，输入 LogQuery打开实例文件（可见上图）

三、配置运行相关参数，主要配置项为 VM options: -Dspark.master=local （代表使用本地模式运行spark代码），如下图

四、下就是解决问题了。
在实际使用环境中，我们写的Spark应用都是打好包后，一般再通过 spark-submit 命令执行，这样Spark所依赖的相关jar都是已经存在，但是现在在IDE中运行，那么就需要对依赖包进行处理。

1、按上面的方式运行 LogQuery文件，会提示以下异常（实际项目编译是成功的）。

解决方法：
1） File -> Project Structure，打开如下图所示

2）执行jar文件所在目录 ：{spark dir}/spark/assembly/target/scala-2.11/jars/ 说明：这个目录是我们在上一篇文章maven编译完spark源码后会生成的。

     **注意：如果修改了Spark源代码，需要重新编译的：mvn -T 4 -DskipTests clean package  
                   -T 是代表线程数**

再次运行，可以看到运行成功了