Hive3.1.2 on spark

这个操蛋的人生！！！

已于 2023-03-09 16:37:05 修改

阅读量2.5k

点赞数 1

文章标签： spark hive 大数据

于 2020-08-25 10:56:44 首次发布

本文链接：https://blog.csdn.net/weixin_42728895/article/details/108217143

版权

本文详细介绍了如何确保Hive 3.1.2版本与Spark正确匹配和配置。关键点包括：Hive与Spark版本必须一致，检查Hive pom.xml中的spark.version，使用未集成Hive的Spark版本，避免NoClassDefFoundError或ClassNotFoundException。编译Spark源码时，需指定相应参数。特别注意，Hive3.1.2与Spark3.0.x可能存在版本冲突。

摘要由CSDN通过智能技术生成

详情参考：
https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started
https://blog.csdn.net/gulugulu_gulu/article/details/105706090
https://blog.csdn.net/yoshubom/article/details/113845190
https://blog.csdn.net/weixin_52918377/article/details/117123969?spm=1001.2101.3001.6650.8&utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-8-117123969-blog-119000138.pc_relevant_antiscanv3&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromBaidu%7ERate-8-117123969-blog-119000138.pc_relevant_antiscanv3&utm_relevant_index=12

Hive的版本和Spark的版本要匹配；

具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那么就需要使用相同版本的Spark，可以在Hive的pom.xml中查看spark.version来确定；

Hive root pom.xml’s defines what version of Spark it was built/tested with.

Spark使用的jar包，必须是没有集成Hive的；

也就是说，编译