spark on hive 的部署，和spark on hive （ha）在本地测试步骤

最新推荐文章于 2022-12-28 17:44:33 发布
最新推荐文章于 2022-12-28 17:44:33 发布
阅读量841 收藏
点赞数
分类专栏： 大数据 文章标签： spark on hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40140306/article/details/79894894
版权

spark  on hive  的部署

1.把hive -site.xml文件拷贝到安装spark 目录下conf里（注意，要重启spark集群生效）

2.启动hive服务 hive --service metastore

3.自己测试spark-shell 如果不行的话吧mysql的注册驱动包放到spark/lib下

在本地测试跑

1.把hive-site.xml文件拷在resource(idea)

2.把hdfs-site.xml文件拷在resource(idea)

3.注意添加hadoop的依赖完全可以跑

qq_40140306
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive on spark 还是 spark on hive?
chashugu2022的博客
08-31 1849
在运行sql的时候，hive on spark 还是 spark on hive 到底是什么呢？它们是一个东西吗？区别是什么？
Spark on Hive Hive on Spark傻傻分不清？
shufangreal的博客
11-04 3932
Spark on Hive? Hive on Spark傻傻分不清？ 1 spark on hive Spark on hive，是spark计算引擎依托hive data source，spark 可以依托JDBC、File、Collection等数据源，hive只是spark集成的数据源之一；具体可以参考spark官方文档；我们可以在代码中配置enableHiveSupport来启用Hive数据源。这里是Spark集成Hive。 2 Hive on Spark Hive on Spark，显而易见，Hi
了解hive on spark和spark on hive
weixin_45812067的博客
12-28 1676
大数据刚出来的时候，并不是很完善。发展的不是很快，尤其是在计算服务上，当时使用的是第一代mr计算引擎，相对来说计算并不是那么快。让大数据快速发展的是2009年伯克利大学诞生的spark，并在2013年成为Aparch的顶级开源项目。使大数据发展比较迅速、但是随着spark的快速发展，对于不太会用spark的或者一直用hiveSql的程序员，但是又想使用spark。提出hive添加spark作为第三个后端在这个概念上就衍生了两种模式，一种是hive on spark，另外一种是spark on hive。
spark on hive & hive on spark的区别
xuehuagongzi000的博客
05-12 3845
Spark on Hive ：数据源是：hiveSpark 获取hive中的数据，然后进行SparkSQL的操作（hive只是作为一个spark的数据源）。 spark on hive : 是spark 通过spark-sql 使用hive 语句操作hive ,底层运行的还是 spark rdd. *（1）就是通过sparksql，加载hive的配置文件，获取到hive的元数据信息 * （2）spark sql获取到hive的元数据信息之后就可以拿到hive的所有表的数据 * （3）接下来就...
Spark On Hive
Simon的博客
03-20 845
Spark On Hive 配置 1.将部署好的hive的路径下的conf/hive-site.xml复制到spark安装路径下的conf/ 2.将部署好的hive的路径下的lib/mysql驱动包，我的是（mysql-connector-java-8.0.15.jar）拷贝到spark安装路径下的jars/ 3.启动Hive的metastore服务 hive --service metastore 4.启动ZooKeeper集群，启动HDFS集群 5.启动spark-shell bin/spark-sh
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
1、内容概要：Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+Elasticsearch+Redash等大数据集群及组件搭建指南（详细搭建步骤+实践过程问题总结）。 2、适合人群：大数据运维、大数据相关技术及组件初学者。 3、...
HadoopHA集群部署、YARNHA测试Job教学课件.pptx
06-20
YARN HA 测试Job YARN HA 测试Job 序号 任务名称 任务一 准备MapReduce输入文件 任务二 将输入文件上传到HDFS 任务三 运行MapReduce程序测试Job 任务一 准备MapReduce输入文件 在master主节点，使用 root 用户登录，...
hadoop集群安装简易版.docx
04-08
此外，文档提到的"Hive on Spark on Yarn"是指在YARN上运行Spark，进而运行Hive查询。这种方式充分利用了Spark的内存计算优势，提高了大数据处理的速度，同时YARN作为资源管理系统，负责调度和管理Spark作业的执行，...
spark集群部署及入门.docx
05-11
在部署完 Spark 集群后，需要进行测试，以确保 Spark 集群的稳定性和可靠性。本文档中，我们将介绍 Spark 集群的测试方法和步骤。 本文档提供了详细的 Spark 集群部署和环境测试指南，旨在帮助 Spark 入门级人员...
hive metastore java api使用
01-07
hive metastore是hive的元数据管理服务，实际应用中很多第三方框架需要访问metastore服务，如spark,impala等。同样hive metastore也提供了java接口。 使用 import org.apache.hadoop.hive.conf.HiveConf; import org...
Hive on Spark VS Spark on Hive
u012667450的博客
12-10 5341
Hive on Spark VS Spark on Hive 两者概述 Hive on Spark Hive on Spark是由Cloudera发起，由Intel、MapR等公司共同参与的开源项目，其目的是把Spark作为Hive的一个计算引擎，将Hive的查询作为Spark的任务提交到Spark集群上进行计算。通过该项目，可以提高Hive查询的性能，同时为已经部署了Hive或者Spark的用户提供了更加灵活的选择，从而进一步提高Hive和Spark的普及率。 Hive on spark大体与SparkS
SparkSql On Hive
难得糊涂
05-08 885
序言 sql 在 hive的使用具体还分为了2种解决方案： spark sql：是hive上的sql语句，spark sql用的是spark 引擎。Spark SQL的前身是Shark，是给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，其对Hive有太多依赖。 hive on spark：是hive上的sql语句，hive on spark是hive借用spark的引擎。 Hive on Spark是由Cloudera发起，将Hive的查询作为Spark的任务提交到.
hive on spark 部署
yang灬仔
04-29 2529
1. 环境 Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. tez, spark) or using Hive 1.X releases hive默认使用mr作为计算引擎，当进入cli时会看到以上的提示信息，刚好有hive2.1.0，查了下pom文件，依赖了spark1.6.0，版本
Spark整合Hive
祗要习惯就好的博客
10-23 1504
安装hive 解压hive到指定的目录中，一般解压在/usr/local/hivetar -zxvf hive-xxx.tar.gz配置系统环境 配置hive-env.sh的环境 配置hadoop的家目录，配置hive的家目录，已及配置hive配置文件的目录配置hive-site.xml<property> <name>hive.metastore.local</name>
hive on spark（yarn）安装部署
weixin_43860247的博客
04-10 4645
〇、说明 HDFS+spark+hive的测试环境之前单独搭建成功了，后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章，包括官网上的教程，一路摸索着，总算是成功了。 0.参考文章 Hive on Spark: Getting Started Running Spark on YARN Building Spark Spark Configuration Hive on ...
用Sparksql本地测试hive
山海
07-16 764
首先配置pom.xml文件： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-hive_2.11</artifactId> <version>2.0.2</ver...
戳破 | hive on spark 调优点
大数据星球-浪尖
08-10 3571
微信交流群里有人问浪尖hive on spark如何调优，当时浪尖时间忙没时间回答，这里就给出一篇文章详细聊聊。强调一下资源设置调优，这个强经验性质的，这里给出的数值比例...
spark整合hive
啊帅和和的博客
11-17 1695
加上依赖 idea中配置有关spark整合hive的依赖，让idea在本地可以用spark的环境操作hive 修改shell中的配置文件 spark-sql spark-sql --master yarn-client 不能使用yarn-cluster 可以整合hive 使用hive的元数据 1、在hive的hive-site.xml修改一行配置，增加了这一行配置之后，以后在使用hive之前都需要先启动元数据服务 <property> <name>hive.metas
Hive on Spark解析
mnasd的博客
08-08 6341
Hive是基于Hadoop平台的数据仓库，最初由Facebook开发，在经过多年发展之后，已经成为Hadoop事实上的SQL引擎标准。相较于其他诸如Impala、Shark（SparkSQL的前身）等引擎而言，Hive拥有更为广泛的用户基础以及对SQL语法更全面的支持。Hive最初的计算引擎为MapReduce，受限于其自身的Map+Reduce计算模式，以及不够充分的大内利用，MapReduce...
spark on hive部署和 配置
最新发布
03-16
Spark on Hive的部署和配置需要以下步骤： 1. 安装Hadoop和Hive 首先需要安装Hadoop和Hive，确保它们能够正常运行。 2. 安装Spark 安装Spark并将其配置为与Hadoop和Hive一起使用。 3. 配置Spark on Hive 在...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值