Hive on Spark配置

最新推荐文章于 2024-08-28 17:47:40 发布

upupfeng

最新推荐文章于 2024-08-28 17:47:40 发布

阅读量6.9k

点赞数 8

分类专栏： Hive 文章标签： Hive on Spark

本文链接：https://blog.csdn.net/ifenggege/article/details/108353855

版权

项目中用hive处理数据，但是hive默认处理引擎是MR，速度比较拉垮。

在此记录分享一下hive on spark的配置。

1. Hive on Spark

基于Spark的Hive，实质上是将Hive默认的计算引擎MapReduce替换成Spark。

hive on spark简介可查看：https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark

2. 配置

2.1 版本兼容性

hive和spark版本兼容。这个版本兼容不是强制的，但是它给的这个是肯定可以跑的。

Hive Version	Spark Version
master	2.3.0
3.0.x	2.3.0
2.3.x	2.0.0
2.2.x	1.6.0
2.1.x	1.6.0
2.0.x	1.5.0
1.2.x	1.3.1
1.1.x	1.2.0

2.2 安装Spark

安装的spa

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

upupfeng

关注关注

8
点赞
踩
31

收藏

觉得还不错? 一键收藏
0
评论
Hive on Spark配置

Hive on Spark：基于Spark的Hive，实质上是将Hive默认的计算引擎MapReduce替换成Spark。
复制链接

扫一扫

专栏目录

【硬刚Hive】HIVE高级(14):优化(14) Hive On Spark配置

微信搜：import_bigdata，大数据领域硬核原创作者

09-11

514

欢迎关注博客主页：微信搜：import_bigdata，大数据领域硬核原创作者_王知无(import_bigdata)_CSDN博客欢迎点赞、收藏、留言，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！本文是对《【硬刚大数据之学习路线篇】从零到大数据专家的学习指南(全面升级版)》的Hive部分补充。 1 Executor 参数以单台服务器 128G 内存，32 线程为例。 1.1 spark.executor.cores.

Hive on Spark配置总结

ksh的博客

06-04

7459

Hive on spark

参与评论您还未登录，请先登录后发表或查看评论

配置Hive on Spark

chuiliang9247的博客

12-03

202

需求场景对hive进行记录数统计以及获取ddl语句均需通过spark engine，配置Hive on Spark予以支持。工作流程添加spark服务；配置需要使用spark的hive：Spark On YARN Service选项选择已创建的spark服务并保存；...

基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优

十八闲客的博客,专注于大数据运维

07-22

1095

但是这样有个问题是当集群有多个用户运行Hive查询时会有问题，应避免为每个用户的会话分配固定数量的executor，因为executor分配后不能回其他用户的查询使用，如果有空闲的executor，在生产环境中，计划分配好executor可以更充分的利用Spark集群资源。启动并发GC周期时的堆内存占用百分比. G1之类的垃圾收集器用它来触发并发GC周期,基于整个堆的使用率,而不只是某一代内存的使用比. 值为 0 则表示"一直执行GC循环". 默认值为 45.。本集群分别设置为3G和1G。

Spark应用 | Hive On Spark性能调优

最新发布

xingyuelhb的博客

08-28

我们公司yarn node节点的可用资源配置为：单台node节点可用资源数：核数33cores、内存110G。Hive on Spark任务的基础配置，主要配置对象包括：Executor和Driver内存，Executor配额，任务并行度。Spark系统架构。

Hive 整合 Spark 全教程（Hive on Spark），2024年最新2024最新阿里软件测试高级面试题总结

2401_84252932的博客

04-13

1198

分类应用Haddop 2.xHaddop 3.xNNPortsNamenode80209820NNPortsNN HTTP UI500709870NNPorts504709871SNN portsSNN HTTP500919869SNN ports500909868DN portsDN IPC500209867DN portsDN500109866DN portsDN HTTP UI500759864DN portsNamenode。

hive on spark 安装配置详解

xiao__wangzi的博客

02-24

1469

hive on spark spark 安装配置安装对应版本scala spark和scala的版本需要匹配，不然安装后启动会报错官网下载源码包 http://spark.apache.org/downloads.html 其他版本可以去https://archive.apache.org/dist/spark/下载解压后修改pom.xml中对应的scala、Hadoop版本去dev/make-distribution.sh修改对应版本号，编译时会快一点改为：下载之后在pom.xml目录点击gi

Hive on spark 配置

weixin_44701015的博客

06-19

2724

参考文档 https://docs.cloudera.com/documentation/enterprise/latest/topics/admin_hos_oview.html#hos_running http://bdlabs.edureka.co/static/help/topics/admin_hos_tuning.html https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hos_tuning.html 1

Hive on Spark

长胖的wo一定特美的博客

10-29

516

一.Spark安装过程比较简单: 1.直接上传解压安装包 tar -zxvf spark-1.6.1-bin-hadoop2.6.tgz mv spark-1.6.1-bin-hadoop2.6.tgz spark-1.6.12.cd /usr/local/spark-1.6.1/conf/ mv spark-env.sh.template spark-env.sh vi

spark从入门到放弃四十:hive on spark

u012957549的博客

04-22

4778

知识背景（1） hive 是目前大数据领域，事实上的sql 标准。其底层默认是基于MapReduce实现的，但是由于MapReduce速度不够快。因此近几年，陆续出来了新的Sql 查询引擎。包括Spark Sql ，hive on tez ,hive on spark. Spark Sql 和hive on spark 是不一样的。spark sql 是Spark 自...

Hive安装及与Spark的集成配置

weixin_33816821的博客

11-19

197

2019独角兽企业重金招聘Python工程师标准>>> ...

Spark配置HOME之后使用hive命令会报 $SPARK_HOME/lib/spark-assembly-*.jar: 没有那个文件或目录

别人笑我太疯癫，我笑他人看不穿。

01-14

1164

报这个错误说明你的hive使用的版本较低，hive命令脚本任然是Spark2.0之前的结构 Spark2.0之后没有lib这一文件了，改成了jars文件，因此我们编辑hive命令脚本找到如下内容 # add Spark assembly jar to the classpath if [[ -n "$SPARK_HOME" ]] then sparkAssemblyPath=`ls ${SPARK_HOME}/lib/spark-assembly-*.jar` CLASSPATH="${CLASSP

hive on spark

weixin_33884611的博客

09-02

111

hive on spark 是hive 使用spark作为它的执行引擎。set hive.execution.engine=spark; hive on spark仅仅在特定版本的spark测试过，所以需要选择合适的hive版本和spark版本。hive3.0.x对应spark2.3.0，hive2.3.x对应spark2.0.0，hive2.2.x、hive2.1.x对应spark1.6.0，...

搭建Hive On Spark

Lucky的专栏

05-26

941

随着Hadoop的深入学习，渐渐用到了Hadoop相关的家族成员Hive、Spark、Sqoop等，其中Hive主要是为了使我们在进行大数据开发的时候更加快捷高效，而且又因为它的类SQL的特性使我们很容易上手；而Spark这个工具是极为高效的大数据的处理引擎，据说是可以达到Hadoop的MapReduce处理速度的几十倍，但是由于它不像Hive使用类SQL的语法，因此学习的成本要高很多，因此在Ha

hive集群配置 hive on spark

zh350229319的专栏

05-02

3254

hive集群配置 hive on spark 标签（空格分隔）： hive HiveServer2的高可用-HA配置 HiveServer2的高可用-HA配置 hive on spark 基于Spark 2.0.0搭建Hive on Spark环境编译spark hive on spark要求spark编译时不集成hive，编辑命令如下，需要安...

Yt的Hive参数调优（Hive on Spark）

someInNeed的博客

10-09

511

#设置这个spark任务名称 set spark.app.name=fun_seamless_newGP133_qianyi_sj; #开启动态分区 set hive.exec.dynamic.partition=true; #动态分区非严格模式 set hive.exec.dynamic.partition.mode=nonstrict; #每个Map最大输入大小256000000是官方默认值 set mapred.max.split.size=256000000; #节点中可以处理的最小的..

hive on spark 配置原理

05-30

在Hive on Spark模式下，Hive使用Spark作为计算引擎来执行查询。它的配置原理如下： 1. 首先，需要在Hive中启用Spark支持。可以通过设置hive.execution.engine为spark来启用。 2. 接下来，需要在Hive中配置Spark相关的参数，包括Spark的master地址、Spark的executor内存大小、Spark的executor个数等。这些参数可以通过在Hive中设置对应的配置属性来进行配置。 3. 然后，需要在Hive中创建一个SparkSession，以便Hive可以使用它来执行Spark任务。SparkSession是Spark 2.x中用于创建DataFrame和DataSet的入口点。在Hive中创建SparkSession的方式是通过设置hive.spark.session.*属性，其中*代表SparkSession的相关属性。 4. 同时，为了更好地利用Spark的资源管理能力，需要在Spark集群中配置好资源管理器，如YARN、Mesos或Standalone等。在Hive on Spark模式下，Hive将使用Spark集群中的资源管理器来管理Spark任务的资源分配和调度。综上所述，Hive on Spark的配置原理是通过在Hive中启用Spark支持，配置Spark相关参数和创建SparkSession，并在Spark集群中配置好资源管理器来实现的。