Hive on Spark on Yarn

最新推荐文章于 2024-06-20 16:36:33 发布
最新推荐文章于 2024-06-20 16:36:33 发布
阅读量3.4k 收藏 1
点赞数
分类专栏： # Hive 文章标签： hive spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/DataIntel_XiAn/article/details/99660179
版权
本文详细介绍了如何在Hive 2.3.4和Spark 2.0.0环境下，将Hive的执行引擎切换为Spark，并在Yarn上配置和运行。内容包括Spark的重新编译、Yarn的公平调度器配置、Hive的配置更改、Spark配置调整以及启动过程中的错误排查和解决方法。最终成功实现了Hive on Spark on Yarn的运行。
摘要由CSDN通过智能技术生成

参考

https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark

https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started

https://cwiki.apache.org/confluence/display/Hive/Configuration+Properties#ConfigurationProperties-Spark

 

说明

每次运行HiveQL的时候都会有这么一条警告【WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases.】说明Hive-on-mr在Hive2中是不被推荐的，并且在将来的版本中可能不可用，那我们就考虑使用Tez来代替MR。接下来看一下版本兼容问题，我使用hive2.3.4和spark2.0.0

 

Spark安装

注意Spark中是绝对不能包含Hive jars的，所以需要重新编译Spark源码

spark源码包准备【spark-2.0.0.tgz】

略

在spark2.0.0之后我们使用以下命令来编译

./dev/make-distribution.sh --name "hadoop2-without-hive" --tgz "-Pyarn,hadoop-provided,hadoop-2.7,parquet-provided"

以下是spark2.0.0编译成功后的截图

最低0.47元/天 解锁文章
Mr.ChowSit
关注
专栏目录
hive on spark（yarn）安装部署
weixin_43860247的博客
04-10 4701
〇、说明 HDFS+spark+hive的测试环境之前单独搭建成功了，后来需要使用hive on spark才发现需要重新配置。查看了很多参考文章，包括官网上的教程，一路摸索着，总算是成功了。 0.参考文章 Hive on Spark: Getting Started Running Spark on YARN Building Spark Spark Configuration Hive on ...
Hive on Spark on YARN配置整理
逝无痕——kaidy
03-04 4989
文章目录版本兼容性spark安装（建议源码编译安装）源码编译（以spark-2.3.3版本，hadoop-3.1.0版本为例）YARN配置Hive配置To add the Spark dependency to HiveConfigure Hive execution engine to use SparkConfigure Spark-application configs for HiveAl...
hive on spark 的架构和常见问题 - hive on spark 使用的是 yarn client 模式还是 yarn cluster 模式？
最新发布
明哥的IT随笔
06-20 598
来自官方的经典的 spark 架构图如下： 上述架构图，从进程的角度来讲，有四个角色/组件：
Hive使用Spark on Yarn作为执行引擎,yarn资源调度FAIR配置
qq_36864672的博客
10-24 3626
Hive从1.1之后，支持使用Spark作为执行引擎，配置使用Spark On Yarn作为Hive的执行引擎，首先需要注意以下两个问题： Hive的版本和Spark的版本要匹配； 具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那么就需要使用相同版本的Spark，可以在Hive的pom.xml中查看spark.version来确定； Hive root pom.xml’s ...
Mark ：Hive使用Spark on Yarn作为执行引擎
tianyeshiye
05-07 7279
原文：http://lxw1234.com/archives/2016/05/673.htmHive从1.1之后，支持使用Spark作为执行引擎，配置使用Spark On Yarn作为Hive的执行引擎，首先需要注意以下两个问题：Hive的版本和Spark的版本要匹配；具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那么就需要使用相同版本的Spark，可以在Hive的pom.xml...
hive2.1.0 on spark1.6.0 on yarn配置
qq_35315256的博客
01-25 339
spark安装 版本：hadoop2.6.0  hive-2.1.0  spark-1.6 1、编译spark 因为hive使用的是apache-hive-2.1.0，不需要spark集成的hive，所以需要自己手动编译spark源码，编译过程大约1个小时。 编译前提： 安装scala环境,联网，setting配置成阿里云的 修改sh脚本，修改一下maven_home,$MAVEN_H...
基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优
05-25
### 基于CDH 6.3.0 搭建 Hive on Spark 及相关配置和调优 #### 概述 随着大数据技术的发展，Hadoop生态系统不断成熟与完善，其中Apache Hive作为数据仓库工具，支持通过SQL语句进行查询、分析存储在Hadoop文件系统...
hive on spark mr 数据开发常见问题解决
11-20
在Hive on Spark作业中，如果遇到`Failed to get a spark session`，可能是因为YARN资源在某些时段紧张。一种解决方法是增加Hiveserver2中的`hive.spark.client.server.connect.timeout`参数，将其设为更长的时间，...
hive on spark 还是 spark on hive?
chashugu2022的博客
08-31 1947
在运行sql的时候，hive on spark 还是 spark on hive 到底是什么呢？它们是一个东西吗？区别是什么？
HIVE ON SPARK 运行于YARN模式下如何调优
张伟的专栏
08-02 755
HIVE ON SPARK 运行于YARN模式下如何调优
非CDH的 hive on spark（spark on yarn）
あずにゃん梓喵的博客
02-14 591
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 1.电商用户画像环境搭建(SparkSql整合hive） Hive 的执行任务是将 hql 语句转化为 MapReduce 来计算的，Hive 的整体解决方案很不错，但是从查询提交到结果返回需要相当长的时间，查询耗时太长。 这个主要原因就是由于Hive原生是基于MapReduce的，那么如果我们不生成MapRed...
hive 2.3.3(HA) on spark 2.2.0 on yarn 2.6.5踩坑记
豪大大的博客
05-25 2022
环境一览 hive 2.3.3配置HA spark 2.2.0 hadoop 2.6.5 zookeeper 3.6.5 hbase 1.2.6 碰到的所有坑 1、jdbc连接zk时方法找不到异常 org.apache.curator.utils.ZKPaths.fixForNamespace，这个是因为curator-framework和curator-client版本不匹配...
SparkSQL On Yarn with Hive，操作和访问Hive表
江湖戏子的专栏
06-13 1660
转载自：http://lxw1234.com/archives/2015/08/466.htm  本文将介绍以yarn-cluster模式运行SparkSQL应用程序，访问和操作Hive中的表，这个和在Yarn上运行普通的Spark应用程序有所不同，重点是需要将Hive的依赖包以及配置文件传递到Driver和Executor上，因为在yarn-cluster模式下，Driver和Executor
spark hive 本地调试 & 提交任务到yarn cluster
okkkay的博客
05-13 610
本文讲述spark部署在远程服务器的yarn环境下时，如何进行本地调试以及提交任务到yarn cluster首先，
Hive_ Hive On YARN Mapper与Reducer 数量 与 优化
迎难而上
03-04 977
参考文章： 1. hadoop mapper和reduce数量设置 https://447214075.iteye.com/blog/2153694 2.Hive中如何确定map数 源码级别 文章揭示了不同 InputFormat 下的划分标准 https://blog.csdn.net/wuliusir/article/details/45010129 Hiv...
Spark On Yarn之指定hive-site.xml找不到metastore
鱼归不知处
03-23 6933
spark
hive on spark通过YARN-client提交任务不成功
METON的博客
09-11 3536
在Hive on spark中  设置spark.master 为 yarn-client ， 提交HiveQL任务到yarn上执行，发现任务无法执行 输出一下错误： 可以看到 Hive on Spark 可以submit查询，但是任务无法执行。 因为我们设置的yarn-client 模式提交，所以在hive执行的输出log日志中查找到相应语句输出的log信息： 发现yar
CDH的 hive on spark（spark on yarn）
あずにゃん梓喵的博客
02-14 7583
总帖：CDH 6系列（CDH 6.0、CHD6.1等）安装和使用 1.所有版本：https://www.scala-lang.org/download/all.html 2.11.8版本：https://www.scala-lang.org/download/2.11.8.html 2.12.8版本： tar -zxvf scala-2.12.8.tg...
cdh配置hive on spark
07-15
CDH（Cloudera's Distribution for Hadoop）是Cloudera公司针对Hadoop生态系统进行的一系列软件包和工具的集成，其中包括Hive on Spark的配置。 Hive是一个建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值