Hive 3.0.0 支持的 Spark 版本是2.3.0 另有全部版本的对应表

最新推荐文章于 2024-05-09 03:02:52 发布
最新推荐文章于 2024-05-09 03:02:52 发布
阅读量6.5k 收藏 3
点赞数 2
分类专栏： BigData Hive 文章标签： hive hadoop spark maven pom
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xx1710/article/details/81198876
版权

 

 

Hive on Spark 对应的Hive支持对应的Spark版本 需要到Hive源码的pom文件中去查看（几千行）

Hive 3.0.0 支持的 Spark 版本是2.3.0

 

<spark.version>2.3.0</spark.version>
 

全版本对应表如下，请注意严格执行

master2.3.0
3.0.x2.3.0
2.3.x2.0.0
2.2.x1.6.0
2.1.x1.6.0
2.0.x1.5.0
1.2.x1.3.1
1.1.x1.2.0
上海菁数信息——实时数字智能
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive-spark-client-3.1.2.jar
09-17
hive-on-spark客户端
spark-2.3.0-bin-hadoop2.7版本.zip
03-25
2. **Spark SQL的兼容性**：增强了对Hive的支持，包括Hive UDF、Hive SerDes和Hive表格式。 3. **Spark Streaming改进**：增加了对Kafka Direct Stream的支持，简化了与Kafka的集成。 4. **MLlib更新**：引入了更多...
hive与spark兼容版本汇总
不会打球的摄影师不是好程序员
01-03 5927
hive与spark兼容版本的汇总1.通过官网的查阅得到以下信息，小伙伴们就不需要再自己去官网查看啦2.官网还给出了一句话： 1.通过官网的查阅得到以下信息，小伙伴们就不需要再自己去官网查看啦 2.官网还给出了一句话： Hive on Spark is only tested with a specific version of Spark, so a given version of Hive is only guaranteed to work with a specific version of S
一百零六、Hive312的计算引擎由MapReduce(默认)改为Spark（亲测有效）
tiantang2renjian的博客
04-24 3646
Hive312的计算引擎由MapReduce(默认)改为Spark
2024年软件测试最新Hive 整合 Spark 全教程 （Hive on Spark）(3)，2024年最新内含福利
最新发布
2401_84562659的博客
05-09 542
指定MapReduce程序运行在Yarn上yarnBigdata00历史服务器端地址历史服务器web端地址开启日志聚集功能true设置日志聚集服务器地址设置日志保留时间为7天604800（2）启动HDFS14）刷新15）退出添加内容#HIVE_HOMEPATH添加如下内容root000000false10000Bigdata00false。
Hive on Spark环境搭建
TH_NUM的博客
06-03 3350
Hive 引擎包括：默认 MR、tez、spark最底层的引擎就是MR （Mapreduce）无需配置，Hive运行自带Hive on Spark：Hive 既作为存储元数据又负责 SQL 的解析优化，语法是 HQL 语法，执行引擎变成了 Spark，Spark 负责采用 RDD 执行。Spark on Hive : Hive 只作为存储元数据，Spark 负责 SQL 解析优化，语法是 Spark SQL语法，Spark 负责采用 RDD 执行。
Hive on Spark环境搭建（解决Hive3.1.2和Spark3.0.x版本冲突）
loftiest的博客
06-21 7874
使用Hive做元数据存储和HQL解析，Spark做实际计算。（Hive on Spark）Hive 使用3.1.2版本，Spark 使用3.0.3版本 。 由于Hive 3.1.2 和 Spark 3.0.3不兼容，需要修改Hive中关于Spark的源码和依赖引用。 下载Hive 3.1.2源码 ，上传并解压 apache-hive-3.1.2-src.tar.gz下载Linux版IDEA，安装到带有桌面的Linux上。（使用root操作IDEA，bin/idea.sh打开idea）用idea打开apach
Spark2.3.0集成hive3.1.1遇到的一个坑HikariCP
weixin_44166276的博客
12-19 4147
Spark2.3.0集成hive3.1.1遇到的一个坑HikariCP hive.metastore.schema.verification false 启动spark-sql或者创建相关对象，都会报错，错误如下： at java.lang.reflect.Constructor.newInstance(Constructor.java:423) at org.datanucle...
Hive配置Spark计算引擎，速度快！
子清的博客
02-08 6771
1.1 Hive引擎简介 ​ Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。 1.2 Hive on Spark配置 1）兼容性说明 注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为
spark-2.3.0-bin-hadoop2-without-hive
03-21
总结一下，"spark-2.3.0-bin-hadoop2-without-hive"是一个专为不依赖 Hive JAR 包环境设计的 Spark 版本，适合那些希望利用 Spark 的计算优势处理 Hive 数据，而不依赖 Hive 全部功能的场景。在使用时，需要自行配置...
项目实战——Spark将Hive表的数据写入ElasticSearch（Java版本）
10-24
Spark与Hive的集成允许我们直接操作Hive表，将Hive数据转换为Spark DataFrame，这样就可以利用Spark的并行计算能力进行数据预处理和转换。 3. **数据转换**： 在从Hive加载数据到Spark后，可能需要对数据进行清洗...
apache-hive-3.1.2-bin.tar.gz
08-30
Hive 3.1.2是Hive项目的其中一个稳定版本，与Spark 3.0.0有良好的兼容性，这意味着用户可以通过Spark作为执行引擎来运行Hive查询，从而利用Spark的高性能计算能力。 Hive的核心组件包括： 1. **元数据存储**：Hive...
spark2.3.0 without hive 编译
ghl0451的专栏
01-14 1564
搭建Hive on spark环境 -- Spark 编译 https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark:+Getting+Started 根据以上Hive 的Wiki得知Hive on spark环境需要Spark不包含Hive相关jar包。 Note that you must have a version ...
Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 遇到的坑
wd_boy的博客
11-03 6844
前几天公司的集群从 Hadoop 2.7 + Spark 2.4 + Hive 2.X + Scala2.11 直接干到了Spark 3.0.0 + Hadoop3.1.3 + HIve 3.1.2 + Scala 2.12 ，然后项目就要跟着升级啦，结果问题就来了一堆了，此篇记录下遇到的几个问题以及解决办法。 使用 mvn package 打包的时候发现 df.foreachPartition内部报错：Error:(83, 19) value hasNext is not a member of...
hive 3.1.3 on spark 3.0.0 安装教程 (内附重新编译好的jar包)
okkkay的博客
06-07 2089
一步一步教会你如何部署 hive 3.1.3 on spark 3.0.0，文章还提供了修改好的源码包~
寻找hadoop、hive、spark对应版本
m0_67401228的博客
04-28 4225
1、spark对应的环境 http://spark.apache.org/documentation.html 2、找spark和hive版本 http://spark.apache.org/docs/3.0.0/building-spark.html#specifying-the-hadoop-version-and-enabling-yarn 3、找hadoop版本 进入hive官网https://hive.apache.org/downloads.html，可以看到hive对应的hadoop版
spark-3.2.0修改源码编译，导入IDEA，连接Hive库
liweihope的博客
02-10 1958
文章目录环境Spark修改spark-shell启动LOGO修改pom.xml文件编译源码导入IDEA连接Hive库验证spark-shell启动LOGO的修改 环境 参考官网： https://spark.apache.org/docs/3.2.0/building-spark.html The Maven-based build is the build of reference for Apache Spark. Building Spark using Maven requires Maven
ambari2.7.4 spark2.3.0整合hive3.1.0
LZX的博客
12-21 1725
环境： HDP 3.1 ambari 2.7.4 hive 3.1.0 spark 2.3.0 1. 添加hive-site.xml 到spark下 cp /usr/hdp/3.1.4.0-315/hive/conf/hive-site.xml /usr/hdp/3.1.4.0-315/spark2/conf 2. 添加hdfs core 配置到spark下 cp /usr/hdp/3.1.4.0-315/hadoop/conf/hdfs-site.xml core-site.xml /usr/hdp/3
Spark项目之环境搭建（单机）二 hive-2.3.3安装
lx1309244704的博客
11-09 1443
上传hive架包，然后解压： tar -zxf apache-hive-2.3.3-bin.tar.gz hive 重命名  mv apache-hive-2.3.3-bin hive 将mysql的驱动包加入hive的lib文件下面 进入hive目录下的conf cd /home/hive/conf/ 把初始化的文件 复制一份出来 并且改名 cp hive-env...
配置hive on spark spark版本2.4.5 hive版本3.1.2
05-24
首先，确保你的环境中已经安装了Spark和Hive，并且你已经配置好了环境变量。接下来，按照以下步骤配置Hive on Spark： 1. 在Hive的配置文件hive-site.xml中添加以下配置： ``` <property> <name>hive.execution.engine</name> <value>spark</value> <description>Execution engine to use. Set this to Spark.</description> </property> <property> <name>spark.master</name> <value>local[*]</value> <description>Spark master URL. Leave this unset to use the default local mode.</description> </property> <property> <name>spark.submit.deployMode</name> <value>client</value> <description>Deployment mode of Spark driver program. Set this to client.</description> </property> <property> <name>spark.sql.hive.convertMetastoreParquet</name> <value>true</value> <description>Whether to convert Parquet tables to Spark SQL on load. Set this to true.</description> </property> ``` 2. 将以下jar包添加到Hive的lib目录下： ``` spark-core_2.11-2.4.5.jar spark-sql_2.11-2.4.5.jar ``` 3. 启动Hive命令行客户端，并执行以下命令： ``` set spark.home=<spark_home_directory> set hive.execution.engine=spark; ``` 其中，`<spark_home_directory>`是你的Spark安装目录。 现在，你已经成功地配置了Hive on Spark。可以使用Hive命令行或Spark SQL来查询数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值