78-spark2.2的编译

最新推荐文章于 2021-03-09 19:21:59 发布

九师兄

最新推荐文章于 2021-03-09 19:21:59 发布

阅读量964

点赞数

分类专栏：大数据-spark 文章标签： Spark 编译 spark2.2

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/79103994

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文详细介绍了Spark 2.2.0的编译过程，包括采用Maven编译时遇到的问题及解决方案。如忽略clean错误、设置SCALA_HOME环境变量、处理权限不足的问题，以及解决编译时测试类报错等。此外，还列举了其他编译问题，如Flume Sink相关包的下载和HiveShim类型的缺失，并提供了相应的解决步骤。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.采用Maven编译

新下载的spark.2.2.0的源代码，导入到IDEA

打开IDEA在Terminal中输入

maven clean package

然后报错


[INFO] Spark Project Parent POM ........................... FAILURE [  0.005 s]
[INFO] Spark Project Tags ................................. SKIPPED
[INFO] Spark Project Sketch ............................... SKIPPED
[INFO] Spark Project Networking ........................... SKIPPED
[INFO] Spark Project Shuffle Streaming Service ............ SKIPPED
[INFO] Spark Project Unsafe ............................... SKIPPED
[INFO] Spark Project Launcher ............................. SKIPPED
[INFO] Spark P

了解本专栏