Spark on hive 与 Hive on spark 的区别

最新推荐文章于 2025-10-11 15:31:34 发布
原创 最新推荐文章于 2025-10-11 15:31:34 发布 · 5.1k 阅读 · 20 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#Spark on hive 与 Hive on Spark #hive计算引擎 #hive #spark

本文深入解析了SparkonHive与HiveonSpark两种模式的关键区别。SparkonHive利用Hive作为数据源，通过SparkSQL进行数据处理；而HiveonSpark则是将Hive的MapReduce引擎替换为Spark，执行HiveSQL时底层运行的是Spark任务，而非传统的MapReduce。这一转变显著提升了大数据处理的效率与灵活性。

读了百度上的一些关于Spark on hive 与 Hive on Spark 的区别的文章，感觉理解太复杂，自己总结一下

Spark on Hive ：数据源是：hive     Spark 获取hive中的数据，然后进行SparkSQL的操作  （hive只是作为一个spark的数据源）。

Hvie on Spark ：（数据源是hive本身）   Hvie 将自己的MapReduce计算引擎替换为Spark，当我们执行HiveSQL(HQL)时

                            底层以经不是将HQL转换为MapReduce任务，而是跑的Spark任务（即：将HQL转换为Spark任务）。

我猜想你已经明白了哈哈哈~~~,不明白说明你的Hive和Spark学的都有问题。

spark on hive 与 hive on spark 的区别
lukabruce的博客
10-17 678
1 Spark on Hive ： 数据源是：hive Spark 获取hive中的数据，然后进行SparkSQL的操作（hive只是作为一个spark的数据源）； 2 Hive on Spark ： 数据源是：hive本身 Hive将自己的MapReduce计算引擎替换为Spark，当我们执行HiveSQL(HQL)时底层以经不是将HQL转换为MapReduce...
Spark on Hive 和 Hive on Spark的区别与实现
Alex的博客
06-13 3966
Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下：【总结】Spark使用Hive来提供表的metadata信息。Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入
Hive on Spark、Spark on Hive的异同
u011076848的专栏
06-06 1891
Hive-on-Spark 是在 Hive 上新增一种计算引擎：Spark目的：借助 Spark 内存计算引擎的优势，提升 Hive 查询性能（相较于默认执行引擎 MR）地位：Spark 和 Hive 原有的执行引擎 MR，Tez 平级，可互相替换益处：给已经部署了 Hive 或者 Spark 的用户提供了更加灵活的选择，从而进一步提高 Hive 和 Spark 的普及率定义：没有官方的 Spark on Hive 说法，属于大家习惯性称呼。
spark on hive 还是 hive on spark?
最新发布
二进制专栏
10-11 336
我们都知道，hive默认的计算引擎是mr,但是mr计算依赖于磁盘，导致计算非常缓慢，开启本地模式会稍微快一点，但是治标不治本，于是有些公司就将计算引擎切换成tez或者spark。spark作为目前主流的离线计算引擎，非常的方便，所以很多企业都想直接将计算引擎换成spark，但目前hive和spark结合有两种方式Spark On Hive ，还有一种Hive On Spark，到底应该怎么选择呢？
SparkSQL与Hive整合(Spark On Hive）
weixin_37536020的博客
07-02 2691
hive metastore元数据服务用来存储元数据，所谓元数据，即hive中库、表、字段、字段所属表、表所属库、表的数据所在目录及数据分区信息。元数据默认存储在hive自带的Derby数据库。metastore服务独立出来之后，1个或多个客户端在配置文件中添加metastore的地址，就可以同时连接metastore服务，metastore再去连接MySQL数据库来存取元数据。SparkSQL同样适用，SparkSQL语句提交给Spark集群，Spark执行引擎查询metastore服务获取元数据，将Sp
黑猴子的家：Spark on hive 与 hive on spark 的区别
黑猴子的博客
06-07 579
1、spark on hive 是spark 通过Spark-SQL使用hive 语句，操作hive ,底层运行的还是 spark rdd. （1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 （3）接下来就可以通过spark sql来操作hive表中的数据 2、...
spark on hive 和 hive on spark 的区别：
weixin_47869733的博客
04-01 2756
spark on hive : hive只作为存储角色，spark 负责sql解析优化，底层运行的还是sparkRDD 具体可以理解为spark通过sparkSQL使用hive语句操作hive表，底层运行的还是sparkRDD， 步骤如下： 1.通过sparkSQL，加载Hive的配置文件，获取Hive的元数据信息 2.获取到Hive的元数据信息之后可以拿到Hive表的数据 ...
Spark on Hive 和 Hive on Spark
2401_84052244的博客
08-01 3344
Spark on Hive 和 Hive on Spark。前者由 Spark 社区主导，以 Spark 为主、Hive 为辅；后者则由 Hive 社区主导，以 Hive 为主、Spark 为辅。两类集成方式各有千秋，适用场景各有不同。在 Spark on Hive 这类集成方式中，Spark 主要是利用 Hive Metastore 来扩充数据源，从而降低分布式文件的管理与维护成本，如路径管理、分区管理、Schema 维护，等等。
【Spark On Hive】—— 基于电商数据分析的项目实战
Byyyi耀的博客
07-16 3880
【Spark On Hive】—— 基于电商数据分析的项目实战
spark on hive & hive on spark的区别
xuehuagongzi000的博客
05-12 4036
Spark on Hive ：数据源是：hiveSpark 获取hive中的数据，然后进行SparkSQL的操作（hive只是作为一个spark的数据源）。 spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就...
Hive on Spark vs. Spark on Hive
youziguo的专栏
06-28 929
Hive on Spark 和 Spark on Hive 是两个不同的大数据处理架构，它们各自有不同的实现方式和应用场景。
区分 Hive on Spark 和 Spark on Hive
goTsHgo的博客
11-29 1717
Hive on Spark 是指使用 Spark 作为 Hive 的查询执行引擎。Spark on Hive 是 Spark 的一个集成模式，在 Spark 应用中可以直接访问 Hive 的元数据和存储数据。它使得 Spark 作业能够查询和操作 Hive 中的数据，主要用来结合 Spark 的高性能计算能力和 Hive 的数据仓库管理能力。用户通过 Spark 的 SQL API 编写查询，调用 Hive 的表或元数据。最终生成 Spark 的 RDD 作业计划，提交给 Spark 执行。
Spark on Hive 和 Hive on Spark的区别
hzp666的博客
12-11 676
Spark on Hive : Hive只作为存储角色，Spark负责sql解析优化，执行。 这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下： 通过SparkSQL，加载Hive的配置文件，获取到Hive的元数据信息； 获取到Hive的元数据信息之后可以拿到Hive表的数据； 通过SparkSQL来操作Hive表中的数据。 Hive on Spark：Hive既作为存储又负责sql的解析优化，Spark负责执行。
Spark on Hive 和 Hive on Spark 的区别
weixin_45417821的博客
03-27 498
Spark on Hive : Hive只作为存储角色，Spark负责sql解析优化，执行。 这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下： 通过SparkSQL，加载Hive的配置文件，获取到Hive的元数据信息； 获取到Hive的元数据信息之后可以拿到Hive表的数据； 通过SparkSQL来操作Hive表中的数据。 Hive on Spark： Hive既作为存储又负责sql的解析优化，Spark负责执行。 这里
【大数据学习 | Spark】Spark on hive与 hive on Spark的区别
2301_80912559的博客
11-27 1369
这种方式下，spark可以读取和写入hive表，利用hive的元数据信息来进行表结构的定义和管理。hive on Spark指的是将hive的默认的执行引擎MR换成Spark。sparkSQL使用hive的Metastore来获取表的元数据信息，这样可以在SparkSQL直接访问hive表。sparkSQL支持HiveQL的语法，使得用户可以使用熟悉的Hive查询语句在Spark上执行SQL查询。通过配置Hive使其使用Spark作为执行引擎，可以在不改变现有的Hive查询的情况下，显著提高查询性能。
Hive on Spark & Spark on Hive
YiGeFive的博客
09-29 1144
"Hive on Spark"和"Spark on Hive"是两种不同的数据处理方式，涉及Hive和Spark之间的集成。
Spark on Hive和Hive on Spark的区别
zhangvalue的博客
07-19 2464
Spark on hive和hive on spark的区别
spark on hive和hive on spark的区别
weixin_46576686的博客
11-01 409
spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就可以通过spark sql来操作hive表中的数据 hive on spark: 是hive 等的执行引擎变成spark , 不再是mapreduce. 相对于上一项,这个要
Spark on Hive Hive on Spark傻傻分不清？
shufangreal的博客
11-04 4227
Spark on Hive? Hive on Spark傻傻分不清？ 1 spark on hive Spark on hive，是spark计算引擎依托hive data source，spark 可以依托JDBC、File、Collection等数据源，hive只是spark集成的数据源之一；具体可以参考spark官方文档；我们可以在代码中配置enableHiveSupport来启用Hive数据源。这里是Spark集成Hive。 2 Hive on Spark Hive on Spark，显而易见，Hi
spark on hive 和hive on spark的区别
07-28
### Spark on Hive 和 Hive on Spark 的区别 **Spark on Hive** 是指 Spark 通过 Spark SQL 使用 Hive 的元数据和表结构，来操作 Hive 表中的数据。在这种模式下，Hive 仅作为数据存储和元数据管理的工具，而实际的...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值