hive修改spark版本重新编译，hive3.1.3 on spark3.3.0

已于 2022-09-03 14:31:26 修改
阅读量3.9k 收藏 11
点赞数 1
分类专栏： 大数据 文章标签： hive spark 大数据
于 2022-08-30 21:35:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39035267/article/details/126608808
版权
本文介绍了如何将Hive 3.1.3与Spark 3.3.0进行整合，首先需要搭建好Hive on MR的基础环境，然后下载Hive源码并使用Maven进行编译。在编译过程中可能遇到问题，需要根据错误提示进行调整。关键步骤包括修改pom.xml中Spark的版本，复制conf配置文件和metastore_db到新项目，并解决编译错误。编译成功后，将打包的Hive部署到服务器，并确保元数据服务正确运行。注意环境变量的更新可能影响服务启动。
摘要由CSDN通过智能技术生成

我的是hive3.1.3 spark3.3.0（请先将自己的 hive on mr 搭建完场，有简单了解在搞这个）
1.下载hive源码
2. maven编译：mvn clean -DskipTests package -Pdist （idea 编译不行，能行的评论告诉我）
右键 - Git Bash
在这里插入图片描述
在这里插入图片描述

  1. idea打开项目，右键pom 添加成maven项目
  2. 修改pom中自己所需依赖的版本
改为自己所需版本
	<spark.version>3.3.0</spark.version>
最低0.47元/天 解锁文章
97zz
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
手把手教学hive on spark，还不会的小伙伴快上车了
笑看风云路的博客
05-20 936
更换Hive执行的引擎，提升执行速度！打开hive on spark 配置的正确姿势从这里开始！
Hive3.1.2编译源码
05-20
使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。除了兼容spark3.0.0外，还将hive3.1.2的guava的版本进行了提升，和hadoop3.x保持一致，以便兼容hadoop3.1.3。
hive3.x编译spark3.x包
06-07
补丁文件包，依赖包，hive3.1.2-spark3.0.0和hive3.1.3-spark3.1.3二进制包已经全部放进该压缩
Mac M3 Pro 部署Spark-2.3.2 On Hive-3.1.3
最新发布
自律给我自由
06-15 798
spark on hive环境搭建
离线数仓搭建流程以及遇到的问题Hadoop3.3.1-hive3.1.2-spark 3.3.1
lx2wenhui的博客
05-06 1382
本文主要讲述的是Hadoop3.3.1-hive3.1.2-spark 3.3.1 以及其他组件的搭建与遇到的问题
hadoop学习——Hive on Spark的配置
caron的博客
06-26 1790
Hive on Spark编译 1）从官网下载Spark源码并解压 下载地址: https://www.apache.org/dyn/closer.lua/spark/spark-2.4.5/spark-2.4.5.tgz 2）上传并解压spark 3）进入spark解压后的目录 4）执行编译命令 [@hadoop101 spark-2.4.5]$ ./dev/make-distribution.sh --name without-hive --tgz -Pyarn -Phadoop-3.1 -Dhadoo
hive3.1.3 on Sprak3.0.3 源码编译
静下心来，感受技术的魅力。
01-14 1296
hive3.1.3 on spark3.03 hive 源码编译
hive 3.1.3 on spark 3.0.0 安装教程 (内附重新编译好的jar包)
okkkay的博客
06-07 2130
一步一步教会你如何部署 hive 3.1.3 on spark 3.0.0，文章还提供了修改好的源码包~
hive on spark 已测，完美搭建
qq_42147602的博客
07-01 2872
hive on spark 已测，完美搭建安装包版本 Hadoop-3.1.3 Hive-3.1.2 Spark-3.0.0 安装包要选择博主安装包，已经经过编译，可以避开许多坑 Hadoop压缩包链接：https://pan.baidu.com/s/1_I5LfyQqAgZ0SFUhqgrPbw 提取码：1234 –如下载不上或需要远程协助，移步v xy18796357645告明来意1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive3.1.2支持的Sp
数据仓库运行环境-HiveOnSpark配置
站上巨人的肩膀
12-04 423
HiveOnSpark的相关配置
为何需要重新编译过的hive
m0_52964127的博客
12-17 439
文章目录前言一、为何需要这个安装包？二、使用步骤1.下载下方重新编译过的安装包。2.替换新的安装包后，后续继续解压安装即可。3.安装好后可按如下命令查看hive兼容的spark总结 前言 大数据生态各个组件之间存在兼容性问题，假如您想从事大数据开发相关工作，那么后续很有可能会做离线数仓的项目，而在搭建数仓环境时会用到spark,听不懂没关系，学了就知道了，此处只是简单说明为何直接用这个版本的安装包，到时你就会发现不用重新再安装一遍hive了。 一、为何需要这个安装包？ 后续在做sgg离线数仓项目时,需
hive-spark-client-3.1.2.jar
09-17
hive-on-spark客户端
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
CDH6针对hive on spark的调优文档，这个是生产的实战经验
大数据Spark纯净版安装包，用于快速集成Hive on Spark
03-26
Spark纯净版安装包是一个用于安装Apache Spark的软件包，该软件包提供了Spark的基本功能和组件，但不包含任何额外的扩展或依赖项。纯净版安装包旨在提供一个轻量级、简单易用的Spark安装选项，适用于用户希望快速...
Hive on Spark 离线数仓生成的原始数据
02-12
在大数据处理领域，Hive on Spark 是一种将 Apache Hive 的执行引擎替换为 Apache Spark 的解决方案，从而提升数据处理性能和效率。Hive 提供了一种SQL-like 的查询语言（HQL）来操作大规模数据，而Spark则是一个...
hive3.1.4源码编译兼容spark3.0.0 hive on spark hadoop3.x修改源码依赖 步骤详细
weixin_52918377的博客
05-21 6734
hive编译 自从CDH宣布收费之后，公司决定使用开源的组件，对现有的大数据集群进行替换。 使用hive3.1.2和spark3.0.0配置hive on spark的时候，发现官方下载的hive3.1.2和spark3.0.0不兼容，hive3.1.2对应的版本是spark2.3.0，而spark3.0.0对应的hadoop版本是hadoop2.6或hadoop2.7。 所以，如果想要使用高版本的hive和hadoop，我们要重新编译hive，兼容spark3.0.0。 目前，有关hive3.1.2编译的
Hive on Spark 搭建过程(hvie-3.1.2 spark-2.4.5 hadoop-3.1.3)
TMH_ITBOY的博客
01-17 4268
Hive On Spark 官方教程 注意，一般来说hive版本需要与spark版本对应，官网有给出对应版本。这里使用的hive版本，spark版本，hadoop版本都没有使用官方推荐。 下载Spark 源码，以spark-2.4.4 为例。 编译Spark 源码。 编译时选择hadoop版本，可选的有hadoop2.7.3和 hadoop2.6的，我要使用2.8.5，所以修改pom文件...
hadoop3.1.3+hive3.1.2+spark2.4.5组成hive on spark
qq_35585375的博客
09-17 2442
hadoop 配置就不记录了，百度都有 hive就是用开源的3.1.2版本，官方默认是支持spark2.4.5的 这里的spark用的是自己编译的版本，依赖于hadoop3.1.2，并排除了hive依赖 spark-default 如下 spark.master yarnspark.eventLog.enabled truespark.eventLog.dir hdfs://hadoop01:8020/spark-historyspark.executor.memory 1gspark.driver
配置hive on spark spark版本2.4.5 hive版本3.1.2
05-24
首先，确保你的环境中已经安装了Spark和Hive，并且你已经配置好了环境变量。接下来，按照以下步骤配置Hive on Spark： 1. 在Hive的配置文件hive-site.xml中添加以下配置： ``` <property> <name>hive.execution.engine</name> <value>spark</value> <description>Execution engine to use. Set this to Spark.</description> </property> <property> <name>spark.master</name> <value>local[*]</value> <description>Spark master URL. Leave this unset to use the default local mode.</description> </property> <property> <name>spark.submit.deployMode</name> <value>client</value> <description>Deployment mode of Spark driver program. Set this to client.</description> </property> <property> <name>spark.sql.hive.convertMetastoreParquet</name> <value>true</value> <description>Whether to convert Parquet tables to Spark SQL on load. Set this to true.</description> </property> ``` 2. 将以下jar包添加到Hive的lib目录下： ``` spark-core_2.11-2.4.5.jar spark-sql_2.11-2.4.5.jar ``` 3. 启动Hive命令行客户端，并执行以下命令： ``` set spark.home=<spark_home_directory> set hive.execution.engine=spark; ``` 其中，`<spark_home_directory>`是你的Spark安装目录。 现在，你已经成功地配置了Hive on Spark。可以使用Hive命令行或Spark SQL来查询数据。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值