Spark3.X 编译源码支持hive（亲测可用）

   Spark官网提供的编译版本默认是不支持Hive的，今天就给大家介绍采用源码编译方法得到支持Hive的Spark版本

一、配置maven

maven配置比较简单，我们就参考 Linux配置Maven_allofme022的博客-CSDN博客_linux配置maven

我们要确保mvn可用，可以检查下配置的maven信息

执行 mvn -version，输出如下证明maven配置正确

二、下载源码

我们下载spark的源码

去官网下载 Downloads | Apache Spark，选择版本3.0.3的源码下载

三、编译

首先解压刚才下载的源码文件到sparksrc

在解压根目录 /software/sparksrc/spark-3.0.3 执行

./dev/make-distribution.sh --tgz --name h31hive --mvn mvn -Pyarn -Phadoop-3.1 -Dhadoop.version=3.1.3 -Phive -Phive-thriftserver -DskipTests

执行后，maven就开始打包了，因为要下载很多包文件，具体看网速快慢，国内源会快一些，大概30多分钟，如下图

 打包的jar文件路径信息也输出如下

我们执行ll，列出文件

 已经有了spark-3.0.3.tgz这个打好的包，这个包就是集成了hive3.1.3的包，我们可以使用这个包安装部署spark了

 总结
        感谢能看到这里的朋友😉

        本次的分享就到这里，猫头鹰数据致力于为大家分享技术干货😎

        如果以上过程中出现了任何的纰漏错误，烦请大佬们指正😅

        受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏

        也可以搜索关注我的微信公众号【猫头鹰数据分析】，留言交流🙏