IDEA中查看RDD.scala源码方法

一、问题场景

我在IDEA中学习运行Spark的样例程序WordCount时，想看下RDD的源码，

结果跳转过去是RDD.class，而视频教程里跳转过去是RDD.scala，

明明maven的依赖配置一模一样，

而且代码里import路径也是完全相同的，

import org.apache.spark.rdd.RDD

为什么最终导入的是两个不同版本的RDD类呢？

二、原因分析

仔细观察后发现，虽然import路径相同，都是org.apache.spark.rdd.RDD，但是视频教程中的RDD.scala是在spark-core_2.12-3.0.0-sources.jar这个jar包中的，而我的RDD.class来自spark-core_2.12-3.0.0.jar。

原来RDD.class是RDD.scala编译产生的字节码文件，就像.java文件和.class文件的关系，spark-core_2.12-3.0.0.jar中打包的是已经编译好的class文件，并没有RDD.scala源码，IDEA中看到的是其从class文件反编译出来的源码，因此没有注释和排版，若要查看真正的源码需要下载源码包spark-core_2.12-3.0.0-sources.jar

打开我的本地Maven仓库，发现并没有spark-core_2.12-3.0.0-sources.jar。

然后去spark-core的maven官网仓库下载地址看下 spark-core下载地址
可以看到除了spark-core_2.12-3.0.0.jar这个主构件外，还有包括spark-core_2.12-3.0.0-sources.jar在内的一些附属构件的，我们在pom.xml添加本地maven仓库没有的依赖后，maven会自动从远程仓库下载相关主构件，而附属构件是不会自动下载下来的

三、解决方案

因此我们还要在我们的本地maven仓库中配置spark-core_2.12-3.0.0-sources.jar。
我们可以在pom文件的spark-core依赖中再添加一行属性

<classifier>sources</classifier>

这样maven就会自动下载spark-core_2.12-3.0.0-sources.jar到本地仓库了，下载完成后我们再把这行删掉，然后重启IDEA，再去看我们代码中的RDD类，就发现变成RDD.scala了

如果不是用maven依赖，还可以自己下载源码，然后在idea打开的RDD.class右上角点attach resource，导入源码目录即可。对于查看任何依赖jar包的源码都是这样操作的，因为单纯jar包中本身就没有源代码，都是源代码编译后的文件。