配置hive on spark后启动报错

最新推荐文章于 2024-10-14 17:21:10 发布

一过人_

最新推荐文章于 2024-10-14 17:21:10 发布

阅读量1.8k

点赞数

分类专栏：可能遇到的问题及解决方案 spark hive 文章标签： spark hive 大数据

本文链接：https://blog.csdn.net/newhandnew413/article/details/108013075

版权

因为hive底层用的执行引擎是MapReduce，所以导致了运行起来非常慢，所以我们要更换执行引擎，就有了hive on spark，基于hive的基础上将执行引擎换成spark

版本：hive 3.1.2
spark3.0.0

需要配置的信息

在spark的配置文件spark-defaults.conf中

spark.master                               yarn
spark.eventLog.enabled                   true
spark.eventLog.dir                        hdfs://hadoop102:8020/spark-history
spark.executor.memory                    1g
spark.driver.memory					   1g

在hive所在的节点上配置spark的环境变量，保证hive和spark是在同一台机器上的

然后增加hive的配置信息

<!--Spark依赖位置-->
<property

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

一过人_

关注关注

0
点赞
踩
4

收藏

觉得还不错? 一键收藏
2
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

Hive On Spark报错：Remote Spark Driver - HiveServer2 connection has been closed

光于前裕于后的博客

01-26

4326

执行报错日志为： Failed to monitor Job[-1] with exception ‘java.lang.IllegalStateException(Connection to remote Spark driver was lost)’ Last known state = SENT FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.spark.SparkTask. Unable to se

hive on spark异常

hua_ed的专栏

03-16

1万+

一、INFO : set mapreduce.job.reduces=<number>ERROR : Failed to execute spark task, with exception 'org.apache.hadoop.hive.ql.metadata.HiveException(Failed to create spark client.)'org.apache.ha...

2 条评论您还未登录，请先登录后发表或查看评论

Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster

最新发布

m0_74857268的博客

10-14

636

在hive-site.xml增加下面的配置，防止因为连接时间过长导致超时报错。原因：没有spark-history文件。原因：没有连接上spark。在hdfs上创建此文件。

spark连接hive报错：java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf

qiangzi_lg的博客

06-11

5418

错误信息如下： 20/06/11 11:04:35 INFO HiveUtils: Initializing HiveMetastoreConnection version 3.0 using Exception in thread "main" java.lang.ClassNotFoundException: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf when creating Hive client.

配置了hive on spark 模式以后，hive不能进行创建表等操作

weixin_54251487的博客

04-18

204

配置hive on spark时，有一步是将编译好的 spark-2.4.5-bin-without-hive 中的jars目录下的。用 scp 的方式取代软链接（操作前记得删除 hive/lib 目录下的上述三个jar包）在配置 hive on spark 之前，hive是正常使用的。三个jar包以软连接的形式指向 hive 的 lib 目录下。如果是以这种形式操作出现 hive 不能正常使用的。仅供参考，可能有用！

Hive on Spark on Yarn

一名假的程序猿

08-16

3486

参考 https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark https://cwiki.apache.org/confluence/display/Hive/Hive+on+Spark%3A+Getting+Started https://cwiki.apache.org/confluence/display/Hive/...

【hive on spark】hive on spark任务报错Connection to remote Spark driver was lost

zx1414iang的博客

02-22

4180

hue执行不用引擎sql导致任务中断

Hive on Spark配置

qq_28286027的博客

04-04

3691

1. Hive引擎简介 Hive引擎包括：默认MR、tez、spark Hive on Spark：Hive既作为存储元数据又负责SQL的解析优化，语法是HQL语法，执行引擎变成了Spark，Spark负责采用RDD执行。 Spark on Hive : Hive只作为存储元数据，Spark负责SQL解析优化，语法是Spark SQL语法，Spark负责采用RDD执行。 2. Hive on Spark配置 1）兼容性说明注意：官网下载的Hive3.1.2和Spark3.0.0默认是不兼容的。因为Hive

Spark不能使用hive自定义函数.doc

03-06

5. **测试与验证**：完成上述配置后，需要通过编写测试代码来验证 Hive UDF 是否可以在 Spark 中正常工作。可以通过简单的 SQL 查询或者 DataFrame API 来调用 Hive UDF，观察是否能够得到预期的结果。 #### 四、...

hive报错 spark_Hive on Spark安装配置详解（都是坑啊）

weixin_39807541的博客

12-20

876

简介本文主要记录如何安装配置Hive on Spark，在执行以下步骤之前，请先确保已经安装Hadoop集群，Hive，MySQL，JDK，Scala，具体安装步骤不再赘述。背景Hive默认使用MapReduce作为执行引擎，即Hive on mr。实际上，Hive还可以使用Tez和Spark作为其执行引擎，分别为Hive on Tez和Hive on Spark。由于MapReduce中间计算均...

搭建Hive On Spark 编译Hive源码错误解决方法（spark2.1.0，hadoop2.7.2）

吟啸徐行

02-28

2838

Hive On Spark 的搭建需要自行编译Spark 源码 without Hive 然后部署。编译成功之后部署Spark集群，此处不描述如何部署集群了。然后本人自行从Hive官网下载Hive2.1.1安装包进行安装，之后启动运行Hive发现出现Class不兼容异常，经过Google得知版本冲突，导致自行编译Hive源码。本人第一次是在archive.apache.o

解决：Error: Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster

qq_55906442的博客

05-06

5117

错误：Could not find or load main class org.apache.hadoop.mapreduce.v2.app.MRAppMaster 问题描述：无法找到或加载主类解决：停止hadoop的运行。 stop-all.sh 编辑mapred-site.xml vi mapred-site.xml 加入以下内容 #/training/hadoop-3.1.3是我的Hadoop的安装目录，改成你的 <property> <n..

spark从入门到放弃四十:hive on spark

u012957549的博客

04-22

4802

知识背景（1） hive 是目前大数据领域，事实上的sql 标准。其底层默认是基于MapReduce实现的，但是由于MapReduce速度不够快。因此近几年，陆续出来了新的Sql 查询引擎。包括Spark Sql ，hive on tez ,hive on spark. Spark Sql 和hive on spark 是不一样的。spark sql 是Spark 自...

在HADOOP平台上运行MATLAB程序(Centos7系统)(incorporate)

touziss的博客

07-14

1033

“遇到的任何解决不了的问题，只是因为你没有找到对的教程而已。”这边只是把我遇到的问题和找到的合适的教程整理一下。希望有帮助。感谢学习路上遇到个每一个认识或者不认识的大神之前写过一个教程，是standalone形式的，其实官网上还有一种是把map和reduce函数分别合并到hadoop的mapreduce的job里。这是是standalone的官方教程https://ww2.mathwork...

ClassNotFoundException: org.apache.hive.spark.client.Job

青春不流名

11-28

935

环境：hive查询数据，yarn查看日志出现上面的错误。到hadoop的目录查询运行日志。

Mark ：Hive使用Spark on Yarn作为执行引擎

tianyeshiye

05-07

7307

原文：http://lxw1234.com/archives/2016/05/673.htmHive从1.1之后，支持使用Spark作为执行引擎，配置使用Spark On Yarn作为Hive的执行引擎，首先需要注意以下两个问题：Hive的版本和Spark的版本要匹配；具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那么就需要使用相同版本的Spark，可以在Hive的pom.xml...

搭建hive on spark持续报错解决办法

Jorry_yuan的博客

05-24

247

在配置hive on spark时,暂时不适用beeline启动,所以先不配置这几个参数。在配置hive-site.xml时,配置了元数据服务方式以及JDBC方式访问Hive。

Hive使用Spark on Yarn作为执行引擎,yarn资源调度FAIR配置

qq_36864672的博客

10-24

3687

Hive从1.1之后，支持使用Spark作为执行引擎，配置使用Spark On Yarn作为Hive的执行引擎，首先需要注意以下两个问题： Hive的版本和Spark的版本要匹配；具体来说，你使用的Hive版本编译时候用的哪个版本的Spark，那么就需要使用相同版本的Spark，可以在Hive的pom.xml中查看spark.version来确定； Hive root pom.xml’s ...

cdh配置hive on spark

07-15

### 回答1： CDH（Cloudera's Distribution for Hadoop）是Cloudera公司针对Hadoop生态系统进行的一系列软件包和工具的集成，其中包括Hive on Spark的配置。 Hive是一个建立在Hadoop之上的数据仓库基础架构，它提供了类似于SQL的查询语言HiveQL，方便用户使用SQL语言对存储在Hadoop中的大型数据集进行查询和分析。Spark是一个快速、通用的数据处理引擎，具有内存计算的特性，能在内存中高效地处理大规模数据。在CDH中配置Hive on Spark需要进行以下步骤： 1. 确保CDH集群已经正确安装和配置，并且已经启动了Hive服务和Spark服务。 2. 在CDH管理界面中，选择Hive服务，然后点击“配置”选项卡。 3. 在配置页面中，找到“Hive 服务”下的“Ancillary Service Configuration”部分。在“Spark”部分中，填写正确的Spark主节点地址和端口号。 4. 点击“保存并重启”以应用配置更改。 5. 在CDH管理界面中，选择Spark服务，然后点击“配置”选项卡。 6. 在配置页面中，找到“Spark 特定”的部分。在“Spark 实例模式”中选择“Standalone”，表示将使用独立的Spark集群。 7. 在“Spark 主节点地址”中填写正确的Spark主节点的地址。 8. 点击“保存并重启”以应用配置更改。 9. 配置完成后，可以使用HiveQL语句在Hive中使用Spark进行查询和分析数据。在Hive命令行或Hue界面中，编写需要的查询语句并执行。通过以上步骤，就可以在CDH上成功配置Hive on Spark。这样就可以同时利用Hive和Spark的强大功能，实现对大规模数据的高效分析和处理。 ### 回答2： CDH配置Hive on Spark是指在CDH平台上配置使用Spark作为Hive的计算引擎。下面是具体的步骤： 1. 首先，确保已经在CDH平台上安装了Hive和Spark组件。 2. 在Hive的配置文件中，需要添加以下参数来启用Hive on Spark： hive.execution.engine = spark hive.spark.client.connect.timeout = 300s hive.spark.client.server.connect.timeout = 300s 3. 在Spark的配置文件中，需要增加以下参数来支持Hive on Spark： spark.master = yarn-client spark.deploy.mode = client spark.submit.deployMode = client spark.yarn.queue = default spark.executor.instances = 10 spark.executor.memory = 4G spark.executor.cores = 2 spark.driver.memory = 4G 4. 然后，重启Hive和Spark的服务。 5. 运行Hive脚本或者Hive命令时，可以在Hive中使用"hive.execution.engine=spark"设置为Spark引擎，或者在命令行中使用"--engine=spark"参数。配置完成后，Hive会将相应的作业提交给Spark来执行，利用Spark的分布式计算能力加速Hive查询的执行速度。需要注意的是，配置Hive on Spark需要确保CDH平台中的Hive和Spark是兼容的，并且调整Spark的资源配置以满足计算需求。总之，通过CDH配置Hive on Spark可以充分发挥Spark的并行处理能力，提高Hive查询的执行效率和性能。 ### 回答3： CDH是一种大数据解决方案，用于配置Hive on Spark的步骤如下： 1. 首先，确保已安装CDH集群并启动了Hive和Spark组件。如果还没有安装，请按照CDH文档进行安装和配置。 2. 检查Hive和Spark的版本兼容性。Hive on Spark需要Hive和Spark版本之间的兼容性，查看CDH文档以了解哪些版本适用于您的集群。 3. 在Hive配置文件中启用Hive的Spark支持。打开Hive配置文件（hive-site.xml），设置hive.execution.engine为spark。 4. 配置Spark属性。在Spark配置文件（spark-defaults.conf）中，设置spark.master为yarn-client或yarn-cluster，这取决于您的CDH集群配置。还可以通过设置其他属性来优化Spark执行引擎的性能。 5. 启动Hive服务。重启Hive服务以使配置更改生效。您可以使用以下命令重新启动Hive服务： sudo service hive-server2 restart 6. 测试Hive on Spark。使用Hive命令行或其他Hive客户端，运行一些Hive查询并确认它们是否在Spark上执行。配置Hive on Spark可以提供更好的性能和资源利用率。而且，使用Spark作为执行引擎还可以充分利用Spark提供的丰富的数据处理功能和API。通过使用CDH的Hive on Spark配置，您可以更好地处理和分析大规模的数据集。