spark on hive 与 hive on spark 的区别

最新推荐文章于 2024-09-12 18:00:00 发布
最新推荐文章于 2024-09-12 18:00:00 发布
阅读量605 收藏 1
点赞数 1
分类专栏： Hive Spark原理、实战、总结 文章标签： spark hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lukabruce/article/details/102602776
版权
本文探讨了Spark on Hive和Hive on Spark的区别。在Spark on Hive中，Hive作为Spark的数据源，Spark执行SQL操作。而在Hive on Spark中，Hive将MapReduce引擎替换为Spark，HQL被转化为Spark任务执行。
摘要由CSDN通过智能技术生成

1 Spark on Hive ：

数据源是：hive     

Spark 获取hive中的数据，然后进行SparkSQL的操作  （hive只是作为一个spark的数据源）；

 

2 Hive on Spark ：

数据源是：hive本身 

Hive 将自己的MapReduce计算引擎替换为Spark，当我们执行HiveSQL(HQL)时底层以经不是将HQL转换为MapReduce任务，而是跑的Spark任务（即：将HQL转换为Spark任务）。

卢子墨
关注
专栏目录
订阅专栏
Spark on Hive 和 Hive on Spark的区别与实现
Alex的博客
06-13 3655
Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下：【总结】Spark使用Hive来提供表的metadata信息。Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入
java spark on hive_Spark On Hive 部署和配置
weixin_29056781的博客
02-24 662
Spark On Hive，通过spark sql模块访问和使用Hive，默认Spark预编译(pre-built)版不包含hive相关依赖，并不支持此功能，因此需要对spark源码进行重新编译，并进行相关的配置，下面是具体操作步骤：1.下载最新版spark源码包cd/data/soft/wget-chttp://apache.fayea.com/spark/spark-1.5.2/spar...
hive on spark 还是 spark on hive?
chashugu2022的博客
08-31 2017
在运行sql的时候，hive on spark 还是 spark on hive 到底是什么呢？它们是一个东西吗？区别是什么？
黑猴子的家：Spark on hive 与 hive on spark 的区别
黑猴子的博客
06-07 521
1、spark on hive 是spark 通过Spark-SQL使用hive 语句，操作hive ,底层运行的还是 spark rdd. （1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 （3）接下来就可以通过spark sql来操作hive表中的数据 2、...
大数据组件详解：Spark、Hive、HBase、Phoenix 与 Presto
最新发布
fudaihb的博客
09-12 1288
随着大数据技术的快速发展，各种大数据处理框架和工具也应运而生。其中，Spark、Hive、HBase、Phoenix 和 Presto 是广泛应用于大数据领域的几款核心组件，它们各自擅长处理不同类型的大数据任务。本文将详细介绍这些技术的特点、应用场景以及它们之间的区别和联系。
Spark on hive 与 Hive on spark 的区别
pwd
08-20 5062
读了百度上的一些关于Spark on hive 与 Hive on Spark 的区别的文章，感觉理解太复杂，自己总结一下 Spark on Hive ：数据源是：hive Spark 获取hive中的数据，然后进行SparkSQL的操作 （hive只是作为一个spark的数据源）。 Hvie on Spark ：（数据源是hive本身） Hvie 将自己的MapReduce计算...
Spark on Hive 和 Hive on Spark 的区别
weixin_45417821的博客
03-27 436
Spark on Hive : Hive只作为存储角色，Spark负责sql解析优化，执行。 这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下： 通过SparkSQL，加载Hive的配置文件，获取到Hive的元数据信息； 获取到Hive的元数据信息之后可以拿到Hive表的数据； 通过SparkSQL来操作Hive表中的数据。 Hive on Spark： Hive既作为存储又负责sql的解析优化，Spark负责执行。 这里
spark on hive 和 hive on spark 的区别：
weixin_47869733的博客
04-01 2658
spark on hive : hive只作为存储角色，spark 负责sql解析优化，底层运行的还是sparkRDD 具体可以理解为spark通过sparkSQL使用hive语句操作hive表，底层运行的还是sparkRDD， 步骤如下： 1.通过sparkSQL，加载Hive的配置文件，获取Hive的元数据信息 2.获取到Hive的元数据信息之后可以拿到Hive表的数据 ...
了解hive on spark和spark on hive
weixin_45812067的博客
12-28 1747
大数据刚出来的时候，并不是很完善。发展的不是很快，尤其是在计算服务上，当时使用的是第一代mr计算引擎，相对来说计算并不是那么快。让大数据快速发展的是2009年伯克利大学诞生的spark，并在2013年成为Aparch的顶级开源项目。使大数据发展比较迅速、但是随着spark的快速发展，对于不太会用spark的或者一直用hiveSql的程序员，但是又想使用spark。提出hive添加spark作为第三个后端在这个概念上就衍生了两种模式，一种是hive on spark，另外一种是spark on hive。
SparkSQL与Hive on Spark的比较
热门推荐
在路上的学习者
05-18 7万+
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。Spark特点 Spark可以部署在YARN上 Spark原生支持对HDFS文件系统的访问 使用
Spark on Hive和Hive on Spark的区别
zhangvalue的博客
07-19 2219
Spark on hive和hive on spark的区别
Spark on Hive 和 Hive on Spark的区别
hzp666的博客
12-11 604
Spark on Hive : Hive只作为存储角色，Spark负责sql解析优化，执行。 这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下： 通过SparkSQL，加载Hive的配置文件，获取到Hive的元数据信息； 获取到Hive的元数据信息之后可以拿到Hive表的数据； 通过SparkSQL来操作Hive表中的数据。 Hive on Spark：Hive既作为存储又负责sql的解析优化，Spark负责执行。
spark on hive & hive on spark的区别
xuehuagongzi000的博客
05-12 3950
Spark on Hive ：数据源是：hiveSpark 获取hive中的数据，然后进行SparkSQL的操作（hive只是作为一个spark的数据源）。 spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就...
spark on hive和hive on spark的区别
weixin_46576686的博客
11-01 366
spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就可以通过spark sql来操作hive表中的数据 hive on spark: 是hive 等的执行引擎变成spark , 不再是mapreduce. 相对于上一项,这个要
Spark on Hive & Hive on Spark，傻傻分不清楚
微信搜：import_bigdata，大数据领域硬核原创作者
04-25 6581
大数据技术与架构点击右侧关注，大数据开发领域最强公众号！暴走大数据点击右侧关注，暴走大数据！上车前需知Spark on hive 与 Hive on Spark 的区别Spark on ...
Hive on Spark vs. Spark on Hive
youziguo的专栏
06-28 639
Hive on Spark 和 Spark on Hive 是两个不同的大数据处理架构，它们各自有不同的实现方式和应用场景。
总结：Hive，Hive on Spark和SparkSQL区别
MrLevo520的博客
08-04 4万+
Hive on Mapreduce Hive的原理大家可以参考这篇大数据时代的技术hive：hive介绍，实际的一些操作可以看这篇笔记：新手的Hive指南，至于还有兴趣看Hive优化方法可以看看我总结的这篇Hive性能优化上的一些总结 Hive on Mapreduce执行流程 执行流程详细解析Step 1：UI(user interface) 调用 executeQuery 接口，发送 H
Hive on Spark VS Spark on Hive
u012667450的博客
12-10 5466
Hive on Spark VS Spark on Hive 两者概述 Hive on Spark Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。 Hive on spark大体与SparkS
Hive on Spark & Spark on Hive
YiGeFive的博客
09-29 995
"Hive on Spark"和"Spark on Hive"是两种不同的数据处理方式，涉及Hive和Spark之间的集成。
Hive on Spark 和 Spark on Hive 区别
06-11
Hive on Spark 和 Spark on Hive 都是Hive和Spark两个大数据技术整合的方式，但是它们的实现方式和应用场景有所不同。 1. Hive on Spark：是指在Hive中使用Spark作为计算引擎来执行Hive的SQL查询。在这种模式下，Hive仍然是查询的入口，用户可以使用Hive的SQL语言来查询数据，但是实际的计算任务是由Spark来执行的。Hive on Spark 可以提供更好的性能和可扩展性，因为Spark的计算引擎可以利用内存来加速查询，而且可以在多个节点上并行执行任务。 2. Spark on Hive：是指在Spark中使用Hive作为元数据存储和查询引擎。在这种模式下，Spark使用Hive的元数据存储来获取表结构和分区信息，然后使用Spark自身的计算引擎来执行任务。Spark on Hive 可以方便地使用Hive中已经定义好的表和分区，而且可以使用Spark的API来进行更加复杂的计算任务。 总的来说，Hive on Spark 更加适用于需要使用Hive的SQL查询语言进行数据分析的场景，而 Spark on Hive 更加适合需要使用Spark的计算引擎进行数据分析的场景。但是，具体选择哪种方式要根据实际的业务需求和数据分析场景来确定。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

卢子墨

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值