spark on hive/hive on spark/SparkSQL的区别

最新推荐文章于 2024-07-22 09:43:21 发布
最新推荐文章于 2024-07-22 09:43:21 发布
阅读量390 收藏 2
点赞数 1
文章标签： spark on hive hive on spark SparkSQL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010886217/article/details/109187891
版权

一、实现功能

解释三者相似概念的区别。

二、解释

1.Spark on Hive

（1）是在Spark中配置Hive，运行方式入口是通过Spark。
（2）底层通过配置Hive的hive-site.xml，hdfs-site.xml等配置文件来直接操作hive 

2.Hive on Spark

（1）是在Hive中配置Spark引擎，运行方式入口是通过Hive。

（2）将底层MR引擎替换为Spark引擎。

RayBreslin
关注
Spark on Hive 和 Hive on Spark的区别与实现
Alex的博客
06-13 3570
Spark on Hive 是Hive只作为存储角色，Spark负责sql解析优化，执行。这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下：【总结】Spark使用Hive来提供表的metadata信息。Hive on Spark是Hive既作为存储又负责sql的解析优化，Spark负责执行。这里Hive的执行引擎变成了Spark，不再是MR，这个要实现比Spark on Hive麻烦很多, 必须重新编译你的spark和导入
hive on spark 还是 spark on hive?
chashugu2022的博客
08-31 1947
在运行sql的时候，hive on spark 还是 spark on hive 到底是什么呢？它们是一个东西吗？区别是什么？
SparkSQL与Hive on Spark的比较
热门推荐
在路上的学习者
05-18 7万+
简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中，Spark和MapReduce在同一个层级，即主要解决分布式计算框架的问题。架构Spark的架构如下图所示，主要包含四大组件：Driver、Master、Worker和Executor。Spark特点 Spark可以部署在YARN上 Spark原生支持对HDFS文件系统的访问 使用
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
最新发布
十八闲客的博客,专注于大数据运维
07-22 1107
但是这样有个问题是当集群有多个用户运行Hive查询时会有问题，应避免为每个用户的会话分配固定数量的executor，因为executor分配后不能回其他用户的查询使用，如果有空闲的executor，在生产环境中，计划分配好executor可以更充分的利用Spark集群资源。启动并发GC周期时的堆内存占用百分比. G1之类的垃圾收集器用它来触发并发GC周期,基于整个堆的使用率,而不只是某一代内存的使用比. 值为 0 则表示"一直执行GC循环". 默认值为 45.​。本集群分别设置为3G和1G。
黑猴子的家：Spark on hive 与 hive on spark 的区别
黑猴子的博客
06-07 504
1、spark on hive 是spark 通过Spark-SQL使用hive 语句，操作hive ,底层运行的还是 spark rdd. （1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 （3）接下来就可以通过spark sql来操作hive表中的数据 2、...
spark on hive和hive on spark的区别
weixin_46576686的博客
11-01 355
spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就可以通过spark sql来操作hive表中的数据 hive on spark: 是hive 等的执行引擎变成spark , 不再是mapreduce. 相对于上一项,这个要
Hive on Spark and Spark sql on Hive
代灿灿灿的博客
03-29 3089
结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置1、首先安装包要选择对，否则就没有开始了。Hive版本:apache-hive-...
sparkSQL sparkSQL整合hive（spark on hive）
a3125504x的博客
09-15 894
sparkSQL整合hivesparkSQL整合hivesparkSQL整合hive步骤示例数据库保存在本地和数据库保存在HDFS应用场景 sparkSQL整合hive sparkSQL整合hive，即spark on hive。本质是把hive当做数据源，使用spark作为计算引擎来处理数据。 sparkSQL整合hive步骤 把hive安装目录下conf文件夹里的hive-site.xml拷贝到集群每一个spark安装目录下对应的conf文件夹中 目的：让spark知道存放hive表的元数据的M
Hive On Spark & SparkSQL On Hive 笔记
大数据研究小白
08-24 678
Hive On Spark & SparkSQL On Hive
java spark on hive_Spark On Hive 部署和配置
weixin_29056781的博客
02-24 635
Spark On Hive，通过spark sql模块访问和使用Hive，默认Spark预编译(pre-built)版不包含hive相关依赖，并不支持此功能，因此需要对spark源码进行重新编译，并进行相关的配置，下面是具体操作步骤：1.下载最新版spark源码包cd/data/soft/wget-chttp://apache.fayea.com/spark/spark-1.5.2/spar...
Spark on hive 与 Hive on spark 的区别
pwd
08-20 5035
读了百度上的一些关于Spark on hive 与 Hive on Spark 的区别的文章，感觉理解太复杂，自己总结一下 Spark on Hive ：数据源是：hive Spark 获取hive中的数据，然后进行SparkSQL的操作 （hive只是作为一个spark的数据源）。 Hvie on Spark ：（数据源是hive本身） Hvie 将自己的MapReduce计算...
Spark on Hive 和 Hive on Spark 的区别
weixin_45417821的博客
03-27 420
Spark on Hive : Hive只作为存储角色，Spark负责sql解析优化，执行。 这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下： 通过SparkSQL，加载Hive的配置文件，获取到Hive的元数据信息； 获取到Hive的元数据信息之后可以拿到Hive表的数据； 通过SparkSQL来操作Hive表中的数据。 Hive on Spark： Hive既作为存储又负责sql的解析优化，Spark负责执行。 这里
spark on hive 和 hive on spark 的区别：
weixin_47869733的博客
04-01 2627
spark on hive : hive只作为存储角色，spark 负责sql解析优化，底层运行的还是sparkRDD 具体可以理解为spark通过sparkSQL使用hive语句操作hive表，底层运行的还是sparkRDD， 步骤如下： 1.通过sparkSQL，加载Hive的配置文件，获取Hive的元数据信息 2.获取到Hive的元数据信息之后可以拿到Hive表的数据 ...
Spark on Hive 和 Hive on Spark的区别
hzp666的博客
12-11 593
Spark on Hive : Hive只作为存储角色，Spark负责sql解析优化，执行。 这里可以理解为Spark 通过Spark SQL 使用Hive 语句操作Hive表 ,底层运行的还是 Spark RDD。具体步骤如下： 通过SparkSQL，加载Hive的配置文件，获取到Hive的元数据信息； 获取到Hive的元数据信息之后可以拿到Hive表的数据； 通过SparkSQL来操作Hive表中的数据。 Hive on Spark：Hive既作为存储又负责sql的解析优化，Spark负责执行。
spark on hive 与 hive on spark 的区别
lukabruce的博客
10-17 586
1 Spark on Hive ： 数据源是：hive Spark 获取hive中的数据，然后进行SparkSQL的操作（hive只是作为一个spark的数据源）； 2 Hive on Spark ： 数据源是：hive本身 Hive将自己的MapReduce计算引擎替换为Spark，当我们执行HiveSQL(HQL)时底层以经不是将HQL转换为MapReduce...
Spark on Hive和Hive on Spark的区别
zhangvalue的博客
07-19 2188
Spark on hive和hive on spark的区别
spark on hive & hive on spark的区别
xuehuagongzi000的博客
05-12 3921
Spark on Hive ：数据源是：hiveSpark 获取hive中的数据，然后进行SparkSQL的操作（hive只是作为一个spark的数据源）。 spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就...
Hive on Spark
weixin_42073629的博客
10-29 1509
简介 本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。 背景 Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均需要写入磁盘，而Spark是放在内存中，所以总体来讲Spark比MapReduce快很多。因此，Hi
SparkSql On Hive
难得糊涂
05-08 912
序言 sql 在 hive的使用具体还分为了2种解决方案： spark sql：是hive上的sql语句，spark sql用的是spark 引擎。Spark SQL的前身是Shark，是给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，其对Hive有太多依赖。 hive on spark：是hive上的sql语句，hive on spark是hive借用spark的引擎。 Hive on Spark是由Cloudera发起，将Hive的查询作为Spark的任务提交到.
hadoop/spark/hive/hbase/kafka
05-09
hadoop是一个分布式计算框架，主要用于存储和处理大规模数据。它采用了HDFS（分布式文件系统）来存储数据，MapReduce算法来处理数据。Hadoop的优点在于它可以处理海量的数据，同时也可以保证数据的可靠性和高可用性。对于需要处理海量数据的企业来说，Hadoop是必不可少的工具。 Spark是一个基于内存的分布式计算框架，相较于Hadoop的MapReduce计算模型，Spark采用了基于内存的计算模型。它可以完成实时的数据处理，同时还可以处理大规模的数据。Spark的优点在于它的计算速度非常快，而且支持多种语言和数据源。对于需要实时处理数据的企业来说，Spark是一个非常好的选择。 Hive是一个基于Hadoop的数据仓库工具，它提供了SQL查询语言来查询Hadoop中的数据。Hive的优点在于它可以将查询语言转换成MapReduce作业，从而完成数据查询和处理。Hive的查询速度相较于Hadoop的MapReduce计算模型，有了很大的提升。对于需要将海量数据存储到Hadoop中，并且希望可以通过SQL语言查询数据的企业来说，Hive是一个非常好的选择。 Hbase是一个基于Hadoop的分布式键值对数据库，它支持海量数据的存储和高效的数据查询。Hbase的优点在于它可以快速处理大规模的数据，并且可以横向扩展。对于企业来说，如果需要处理高并发的数据查询，Hbase是一个非常好的选择。 Kafka是一个分布式消息队列系统，它可以处理高并发的消息传输。Kafka的优点在于它可以快速处理大规模的消息，同时保证消息的可靠性和顺序性。对于需要处理高并发的消息传输的企业来说，Kafka是一个非常好的选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值