在IntelliJ 启动Spark的Master和Work

最新推荐文章于 2023-11-01 15:56:32 发布

q79969786

最新推荐文章于 2023-11-01 15:56:32 发布

阅读量5.7k

点赞数

分类专栏： spark 文章标签：源码 spark

本文链接：https://blog.csdn.net/q79969786/article/details/45771927

版权

4 篇文章 0 订阅

订阅专栏

为了阅读Spark阅读源码方便，可以直接在IntelliJ 启动Master和Work，方便debug，

下面介绍方法：

启动后master如下图：
这里写图片描述

常见问题

java.lang.IllegalStateException: Cannot find any assembly build directories.
用该源代码重新编译Spark后将编译后的jar文件放在spark\assembly\target\scala-2.10\，并将datanucleus-api-jdo-3.2.6.jar，datanucleus-core-3.2.10.jar，datanucleus-rdbms-3.2.9.jar放在spark\lib_managed\jars\
java.io.InvalidClassException: org.apache.spark.rdd.RDD; local class incompatible: stream classdesc serialVersionUID = -3550615713128734032, local class serialVersionUID = -1180408054267465065
spark\assembly\target\scala-2.10\下的jar文件不是该源码编译的