Spark集群整合hive以及java.lang.ClassNotFoundException: org.apache.tez.dag.api.SessionNotRunning问题解决

最新推荐文章于 2022-10-31 16:15:38 发布
最新推荐文章于 2022-10-31 16:15:38 发布
阅读量939 收藏 1
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/onthe_wing/article/details/119740198
版权

通过spark操作hive中的数据

在集群（服务器）上整合

步骤

1.如果在spark的bin目录下存在metastore_db或者spark-warehouse文件，将这两个文件删除
2.导入配置文件

1.hive/conf/hive-site.xml
2.hadoop/etc/hadoop/core-site.xml和hdfs-site.xml
将上述三个文件放入spark/conf目录下，这样就整合好了

3.问题

如果遇到以下问题
在这里插入图片描述

在这里插入图片描述
将spark下的conf目录中的hive-site.xml里引擎的配置改为mr,这样问题就解决了<

最低0.47元/天 解锁文章
onthe_wing
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
hive启动报错 java.lang.ClassNotFoundException: org.apache.hadoop.mapred.MRVersion
weixin_30794499的博客
04-04 2812
[hadoop@hadoop001 hive-1.1.0-cdh5.7.0]$ hivewhich: no hbase in (/home/hadoop/app/hive-1.1.0-cdh5.7.0/bin:/home/hadoop/app/hadoop-2.8.1/bin:/usr/java/jdk1.8.0_45/bin:/bin:/usr/local/bin:/bin:/usr/bin:/...
Hive安装遇到的问题
qq_48615104的博客
04-17 706
遇到的问题解决方案 问题一：guava 架包版本不同 当初始化Hive的时候爆出了如下图的错误，这是由于Hadoop包和Hive包自带的guava.jar版本不同导致的。由于版本不一致无法选择使用哪一个jar包。 处理方法：把Hadoop和Hive的jar包版本调整一致即可。 guava.jar分别在 hadoop-3.2.2/share/hadoop/common/lib/ 和 hive-3.1.2/lib/(这里是已经改过的) 问题二：环境变量配置问题 错误：java.lang.ClassNot
org/apache/tez/dag/api/SessionNotRunning
彪叔的博客
06-29 943
hive --service hiveserver2 10000 & 启动时报以下错误： 2021-06-29T17:21:34,284 WARN [main] server.HiveServer2: Error starting HiveServer2 on attempt 1, will retry in 60000ms java.lang.NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning at org.apache
hive on spark 配置时报错：Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorPa
jackfeng86的专栏
12-27 3985
1.执行sql语句，报错信息。 hive> insert into table student values(1,'abc'); Query ID = atguigu_20200814150018_318272cf-ede4-420c-9f86-c5357b57aa11 Total jobs = 1 Launching Job 1 out of 1 In order to change the average load for a reducer (in bytes): set hive.exec
java.lang.ClassNotFoundException：如何解决
m0_67390963的博客
08-17 1万+
好吧，因为我们将完整的类名更改为org.ph.javaee.training5.ClassB，所以在运行时找不到此类（不存在），从而导致Class.forName（）和ClassLoader.loadClass（）调用均失败。正在从ClassLoader’sun.misc.Launcher$AppClassLoader@2a340e’加载org.ph.javaee.training5.ClassA类的类…正在创建org.ph.javaee.training5.ClassA的新实例…...
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
解决Hive启动失败Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient
01-09
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 通过控制台的...
java.net.SocketException: Connection reset 解决方法
09-05
Java中的`java.net.SocketException: Connection reset`是一个常见的网络编程错误，通常表示在TCP/IP通信过程中，连接突然中断。这个异常可能在客户端或服务器端发生，通常与数据传输的异常中断有关。 首先，我们来...
数据库驱动常见错误"java.lang.ClassNotFoundException:解决了jsp连接Error establishing socket.
01-13
"java.lang.ClassNotFoundException: com.microsoft.jdbc.sqlserver.SQLServerDriver" 解决方案 [Microsoft][SQLServer 2000 Driver for JDBC]Error establishing socket. 解决了jsp连接　sql server 2000的问题
apache-hive-2.1.0-bin.tar.zip
05-04
apache-hive-2.1.0-bin
解决报错java.lang.NoClassDefFoundError: org/apache/james/mime4j/MimeException
07-10
该jar包解决报错java.lang.NoClassDefFoundError: org/apache/james/mime4j/MimeException，亲测可用。
java.lang.classnotfoundexception解决方法
热门推荐
weixin_30342827的博客
07-11 9万+
java.lang.classnotfoundexception解决方法 1.java运行环境的jdk版本比class文件的编译版本低了导致 2.class文件的访问权限或者所在目录的访问权限有问题,导致java无法读这个文件 3.jar包有错误,查看jar是否有漏或者重新导入jar包 出现java.lang.classnotfoundexception问题真的是很烦人，找资料解决问题...
ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案
记录点点滴滴
03-13 5974
ClassNotFoundException: org.apache.spark.AccumulatorParam 解决方案错误现象 :解决方案 : 错误现象 : Job failed with java.lang.ClassNotFoundException: org.apache.spark.AccumulatorParam FAILED: Execution Error, return code 3 from org.apache.hadoop.hive.ql.exec.spark.SparkTas
Hudi集成Hive时的异常解决方法 java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
知行合一
10-31 3419
# Hudi 0.10.0 集成 Hive 时的异常及解决方法: java.lang.ClassNotFoundException: org.apache.hudi.hadoop.HoodieParquetInputFormat
Hive on Tez部署及验证测试
骑猪喝咖啡
06-04 1万+
该帖子主要记录Hive On Tez安装及验证测试，并详细记录验证过程中的各种坑，具体坑如下： org/apache/hadoop/mapred/MRVersion java.lang.NoSuchMethodError: org.apache.hadoop.mapred.TaskID org/apache/hadoop/util/StopWatch FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.
Tez在hadoop 2.2.0下的安装部署测试
teddeyang的专栏
02-20 1万+
1.      我的安装环境： a)        hadoop2.2.0 b)        probuf2.5.0  ，  probuf的安装可参考：http://blog.csdn.net/guoyilongedu/article/details/17093811 c)        Tez-0.2.0 2.      安装Tez， a)        下载，Tez
Exception in thread main java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
微电子学与固体电子学-俞驰
06-03 7109
hive on tez，为了这个配置今天是第四天了,MLGB的！！！ ################################################################################################### 这个报错是在启动hive客户端的时候触发了。 ######################################下面是解决方案##################################### 直接说解决方案: ~
java.lang.NoClassDefFoundError: org/apache/ibatis/cursor/Cursor
cyh
03-15 2642
做ssm整合的时候遇到的， 坑爹的版本问题导致的。 解决办法： 将mybatis 和 mybatis-spring 换成如下版本 &lt;dependency&gt; &lt;groupId&gt;org.mybatis&lt;/groupId&gt; &lt;artifactId&gt;mybatis&lt;/artifactId&gt; &lt;...
java.lang.classnotfoundexception: org.apache.hadoop.hive.ql.io.parquet.mapre
最新发布
12-31
在你提供的问题中，异常的完整名称是java.lang.ClassNotFoundException: org.apache.hadoop.hive.ql.io.parquet.mapreduce.ParquetInputFormat。 这个异常通常发生在Java程序中使用Hadoop和Hive进行数据处理时。它...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值