Spark集群整合hive以及java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning问题解决

最新推荐文章于 2023-11-22 09:52:06 发布
最新推荐文章于 2023-11-22 09:52:06 发布
阅读量992 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/onthe_wing/article/details/119740198
版权
本文介绍了如何在集群环境中整合Spark与Hive，包括删除metastore_db和spark-warehouse文件，导入配置文件如hive-site.xml和core-site.xml等。在整合过程中可能遇到`java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning`的问题，解决方法是将Spark配置中的Hive引擎设置为MR。最后，提供了使用spark-shell和spark-sql进行操作的步骤。
摘要由CSDN通过智能技术生成

通过spark操作hive中的数据

在集群（服务器）上整合

步骤

1.如果在spark的bin目录下存在metastore_db或者spark-warehouse文件，将这两个文件删除
2.导入配置文件

1.hive/conf/hive-site.xml
2.hadoop/etc/hadoop/core-site.xml和hdfs-site.xml
将上述三个文件放入spark/conf目录下，这样就整合好了

3.问题

如果遇到以下问题
在这里插入图片描述

在这里插入图片描述
将spark下的conf目录中的hive-site.xml里引擎的配置改为mr,这样问题就解决了
在这里插入图片描述

4.使用

1.使用spark/bin目录下的spark-shell
在这里插入图片描述
2.使用spark-sql可以直接使用sql语句进行操作
在这里插入图片描述

最低0.47元/天 解锁文章
onthe_wing
关注
sqoop报错Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning
yy的博客
11-02 2160
问题: hive切换引擎为tez之后,sqoop导入数据到内部表报错Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning 解决方法: vim /opt/cloudera/parcels/CDH-6.2.0-1.cdh6.2.0.p0.967373/lib/sqoop/conf/hive-site.xml 修改下面参数为mr: (这里不要使用hive/conf下的h...
tez报错 java.lang.ClassNotFoundException: com.esotericsoftware.kryo.pool.KryoFactory
yy的博客
07-12 1460
报错内容: Vertex failed, vertexName=Map 1, vertexId=vertex_1624327491036_0158_1_00, diagnostics=[Vertex vertex_1624327491036_0158_1_00 [Map 1] killed/failed due to:INIT_FAILURE, Fail to create InputInitializerManager, org.apache.tez.dag.api.TezReflectionExc..
[报错]Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning(没用)
胖胖的博客
08-09 859
Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning
java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
weixin_43806056的博客
10-17 7226
IDEA编写程序：spark SQL连接 hive 报错：java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 我的问题出现在： 方法一： 把hive-site.xml拷贝到idea的resources中后，hive-site.xml中的一个配置需要改： 简单来说，把 “hive.execution.eng...
Hive启动时遇到java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning报错
weixin_43586713的博客
05-08 3309
Hive启动的时候报错如下图所示： 因为这个Bug搞了三小时，在这里记录以下，避免下次踩坑。 在Hive启动的时候去配置启动引擎为tez，之后启动hive遇到错误： java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning 显示会话服务无法开启。 解决方法：将tez和tez/lib下的jar包都复制到hive/lib目录下。 编辑hadoop-env.sh： vim $HADOOP_HOME/etc/hadoop/ha
spark读取hive异常，java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
lpacino的博客
11-03 782
环境： HDP2.6.4 Spark2.2.0 Hive1.2.1 背景： 使用spark代码读取hive表数据，写入clickhouse表，相同的代码在其他HDP集群正常使用，更换新环境后，报以下异常： Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning at org.apache.hadoop.hive.ql.session.SessionS
Hive: java.lang.ClassNotFoundException Class org.apache.hive.hcatalog.data.JsonSerDe not found
砍柴人的博客
02-25 861
WARNING: Hive-on-MR is deprecated in Hive 2 and may not be available in the future versions. Consider using a different execution engine (i.e. spark, tez) or using Hive 1.X releases. Query ID = root_20210225123435_1324c293-cd8b-42be-802d-339619ddd885 Tot..
Hive启动报错：java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration
之一先生专栏
10-06 3292
<!-- Hive启动报错： Caused by: java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration 出现问题的原因： 因为没有集成tez，重启后依然会报错，但是60000ms后会自动重试启动（一般重试后会启动成功） 这算是一个遗留问题，但是不影响客户端正常连接，只是启动时间会多了60秒。 解决方案： 配置文件hive
【hive】java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration的解决方案
weixin_44917271的博客
12-01 5777
启动HiveServer2中或者外部客户端连接HiveServer2时候有可能出现此异常，具体是 java.lang.ClassNotFoundException: org.apache.tez.dag.api.TezConfiguration 解决方案是：配置文件hive-site.xml中的hive.execution.engine属性值由tez修改为mr，然后重启HiveServer2即可。因为没有集成tez，重启后依然会报错，但是60000ms后会自动重试启动（一般重试后会启动成功） 这算是一个遗留
java.lang.NoClassDefFoundError org.apache.xml.serializer.TreeWalker.doc
10-09
在jsp运行过程中，报错 java.lang.NoClassDefFoundError org.apache.xml.serializer.TreeWalker时的处理方法。
org/apache/tez/dag/api/SessionNotRunning
彪叔的博客
06-29 1015
hive --service hiveserver2 10000 & 启动时报以下错误： 2021-06-29T17:21:34,284 WARN [main] server.HiveServer2: Error starting HiveServer2 on attempt 1, will retry in 60000ms java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning at org.apache
java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
qq_43759478的博客
08-15 1080
加上这个(如果有就修改，没有就添加）修改hive-site.xml。再次启动hiveserver2。
hiveserver2 启动慢，查看日志出现报错java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
OnceAchive的博客
11-22 668
启动 hiveserver2 时很慢，需要等待一段时间才能使用，通过查看 /tmp/user/hive.log 日志文件发现，存在如下警告。在conf/hive-site.xml中添加如下。重启hiveserver2，即可快速启动。
java部署出错：java.lang.ClassNotFoundException: org.apache.jsp.index_jsp
mztt的博客
03-30 5602
下午部署项目出错，maven 引入jstl 是 1.2， 解决如下： 错误： 1.The absolute uri: http://java.sun.com/jsp/jstl/core cannot be resolved in either web.xm 2.java.lang.ClassNotFoundException: org.apache.jsp.index_jsp 解决 最后在goo...
HIVE java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration at org.apache.h
80后大叔爱学习
01-21 5166
vi hive-site.xml 搜索：<name>hive.server2.active.passive.ha.enable</name>
启动hive报错 org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application
张俊杰 的博客
10-27 1838
错误 Caused by: org.apache.tez.dag.api.SessionNotRunning: TezSession has already shutdown. Application application_1602825966780_0008 failed 2 times due to AM Container for appattempt_1602825966780_0008_000002 exited with
hive on spark 配置时报错：Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorPa
jackfeng86的专栏
12-27 4163
1.执行sql语句，报错信息。 hive> insert into table student values(1,'abc'); Query ID = atguigu_20200814150018_318272cf-ede4-420c-9f86-c5357b57aa11 Total jobs = 1 Launching Job 1 out of 1 In order to change the average load for a reducer (in bytes): set hive.exec
spark连接hive报错：java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf
qiangzi_lg的博客
06-11 5370
错误信息如下： 20/06/11 11:04:35 INFO HiveUtils: Initializing HiveMetastoreConnection version 3.0 using Exception in thread "main" java.lang.ClassNotFoundException: java.lang.NoClassDefFoundError: org/apache/hadoop/hive/conf/HiveConf when creating Hive client.
java.lang.classnotfoundexception: org.apache.hadoop.hive.ql.io.parquet.mapre
最新发布
12-31
在你提供的问题中，异常的完整名称是java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.io.parquet.mapreduce.ParquetInputFormat。 这个异常通常发生在Java程序中使用Hadoop和Hive进行数据处理时。它...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值