hive_exception 已经处理处理

最新推荐文章于 2023-02-22 21:37:36 发布
最新推荐文章于 2023-02-22 21:37:36 发布
阅读量5.1k 收藏
点赞数 1
分类专栏： hadoop 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/myrainblues/article/details/42393229
版权
java.io.IOException: org.apache.hadoop.yarn.exceptions.ApplicationNotFoundException: Application with id 'application_1420343843586_0052' doesn't exist in RM.
        at org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:284)
        at org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:145)
        at org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:321)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)


        at org.apache.hadoop.mapred.ClientServiceDelegate.invoke(ClientServiceDelegate.java:348)
        at org.apache.hadoop.mapred.ClientServiceDelegate.getJobStatus(ClientServiceDelegate.java:419)
        at org.apache.hadoop.mapred.YARNRunner.getJobStatus(YARNRunner.java:532)
        at org.apache.hadoop.mapreduce.Cluster.getJob(Cluster.java:183)
        at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:580)
        at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:578)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)
        at org.apache.hadoop.mapred.JobClient.getJobUsingCluster(JobClient.java:578)
        at org.apache.hadoop.mapred.JobClient.getJob(JobClient.java:596)
        at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelper.progress(HadoopJobExecHelper.java:288)
        at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelper.progress(HadoopJobExecHelper.java:547)
        at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:426)
        at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:136)
        at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:153)
        at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:85)
        at org.apache.hadoop.hive.ql.exec.TaskRunner.run(TaskRunner.java:72)
Ended Job = job_1420343843586_0052 with exception 'java.io.IOException(org.apache.hadoop.yarn.exceptions.ApplicationNotFoundException: Application with id 'application_1420343843586_0052' doesn't exist in RM.
        at org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:284)
        at org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:145)
        at org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:321)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)
)'
2015-01-04 15:36:20,346 - ERROR [Thread-8:SessionState$LogHelper@546] - Ended Job = job_1420343843586_0052 with exception 'java.io.IOException(org.apache.hadoop.yarn.exceptions.ApplicationNotFoundException: Application with id 'application_1420343843586_0052' doesn't exist in RM.
        at org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:284)
        at org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:145)
        at org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:321)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)
)'
java.io.IOException: org.apache.hadoop.yarn.exceptions.ApplicationNotFoundException: Application with id 'application_1420343843586_0052' doesn't exist in RM.
        at org.apache.hadoop.yarn.server.resourcemanager.ClientRMService.getApplicationReport(ClientRMService.java:284)
        at org.apache.hadoop.yarn.api.impl.pb.service.ApplicationClientProtocolPBServiceImpl.getApplicationReport(ApplicationClientProtocolPBServiceImpl.java:145)
        at org.apache.hadoop.yarn.proto.ApplicationClientProtocol$ApplicationClientProtocolService$2.callBlockingMethod(ApplicationClientProtocol.java:321)
        at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:585)
        at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:928)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2013)
        at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2009)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)
        at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2007)


        at org.apache.hadoop.mapred.ClientServiceDelegate.invoke(ClientServiceDelegate.java:348)
        at org.apache.hadoop.mapred.ClientServiceDelegate.getJobStatus(ClientServiceDelegate.java:419)
        at org.apache.hadoop.mapred.YARNRunner.getJobStatus(YARNRunner.java:532)
        at org.apache.hadoop.mapreduce.Cluster.getJob(Cluster.java:183)
        at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:580)
        at org.apache.hadoop.mapred.JobClient$2.run(JobClient.java:578)
        at java.security.AccessController.doPrivileged(Native Method)
        at javax.security.auth.Subject.doAs(Subject.java:415)
        at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1557)
        at org.apache.hadoop.mapred.JobClient.getJobUsingCluster(JobClient.java:578)
        at org.apache.hadoop.mapred.JobClient.getJob(JobClient.java:596)
        at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelper.progress(HadoopJobExecHelper.java:288)
        at org.apache.hadoop.hive.ql.exec.mr.HadoopJobExecHelper.progress(HadoopJobExecHelper.java:547)
        at org.apache.hadoop.hive.ql.exec.mr.ExecDriver.execute(ExecDriver.java:426)
        at org.apache.hadoop.hive.ql.exec.mr.MapRedTask.execute(MapRedTask.java:136)
        at org.apache.hadoop.hive.ql.exec.Task.executeTask(Task.java:153)
        at org.apache.hadoop.hive.ql.exec.TaskRunner.runSequential(TaskRunner.java:85)

        at org.apache.hadoop.hive.ql.exec.TaskRunner.run(TaskRunner.java:72)



这个主要是因为yarn的挂掉 引起的。 询问小伙伴，原来是调优的时候 重启了yarn。所以造成了，job id 的丢失。才会有这样的异常爆出。

myrainblues
关注
专栏目录
hadoop错误-YarnException: Unauthorized request to start container
03-01 2995
集群没做调整，昨天突然出现大量的执行失败，是启动就失败的hive任务：，如下图 点开History是由于一台服务器导致，错误代码： Application application_1456816082333_0023 failed 2 times due to Error launching appattempt_1456816082333_0023_000002. Got excep
datax mysql hive_Datax3.0 Hive Reader插件
weixin_32824369的博客
01-26 1461
1-介绍:上一篇文章已经介绍了Datax插件开发的完整流程。针对HiveReader插件的开发，我们之间从代码开始2-实现原理如果想要从hive表中把数据按照一列一列把数据取出来，可以使用官方的hdfsreader.在某些时候，我们想要使用更灵活的方式，比如使用hivesql查询语句导出sql查询的数据.实现原理:根据配置的sql,通过将查询结果保存到一张新的临时hive表中这种方式.然后获取...
hive启动Exception
zss_89的专栏
02-22 179
2、hadoop-3.2.3（路径：hadoop\share\hadoop\common\lib）中该jar包为 guava-27.0-jre.jar；而hive-3.1.3(路径：hive/lib)中该jar包为guava-19.0.jar。1、com.google.common.base.Preconditions.checkArgument这个类所在的jar包为：guava.jar。3、将jar包变成一致的版本：删除hive中低版本jar包，将hadoop中高版本的复制到hive的lib中。
Hive任务运行常见报错及解决方式汇总
吴明磊的博客
02-22 8410
有的时候hive任务运行到一半，会报错并强制结束，下面对工作中经常遇到的报错及解决措施进行一个汇总，因为都是平时遇到了临时简单记录一下，所以没有当时的报错截图，但是主要报错内容是有的。 以下报错内容均为从yarn任务监控页面(http://主机名:8088/cluster)中查到的运行日志中打印的具体报错，直接查看命令行或者其他运行日志，可能只能看到return code 1 或者ret...
Hive启动报错
poem_2010的博客
09-29 1148
java.sql.SQLSyntaxErrorException: You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near '[CHARACTER SET charset_name] [COLLATE collation_name] NULL,
yarn导出日志报错：Exception in thread "main" org.apache.hadoop.yarn.exception.ApplicationNotFoundException
三妹的博客
09-26 1064
如题，执行yarn logs -applicationId 命令时报错 ：Exception in thread "main" org.apache.hadoop.yarn.exception.ApplicationNotFoundException 具体如下图： 解决办法： 指定 containerID 导出日志，所以命令改为: yarn logs -applicati...
Hive_JDBC.zip_hive java_hive jdbc_hive jdbc pom_java hive_maven连
09-23
在大数据处理领域，Apache Hive是一个基于Hadoop的数据仓库工具，它允许用户使用SQL（HQL，Hive Query Language）查询存储在Hadoop集群中的大型数据集。Hive JDBC（Java Database Connectivity）是Hive提供的一种...
java代码导入hive_把本地的文件数据导入到Hive分区表--系列①Java代码
weixin_35048609的博客
02-27 1770
本篇博客,小菌为大家带来关于如何将本地的多个文件导入到Hive分区表中对应的分区上的方法。一共有四种方法,本篇将介绍第一种—Java代码。首先编写代码,通过MapReduce将处理好的数据写入到HDFS的目录下。下面提供一种参考!Mappublic class Mapper01 extends Mapper {/**** @param key 行首偏移量* @param value 一整行的...
hive中concat_ws的秘密
u012861792的博客
06-30 3824
hive中concat_ws的秘密
Hive_基于Hive的网站日志分析
whisky_12的博客
12-21 1422
文章目录 12
Hadoop运行错误：org.apache.hadoop.yarn.exceptions.YarnException
小萌猿的博客
03-03 2万+
打包MapReduce程序为jar包后在Hadoop集群执行时出错： 原因：集群时间不一致造成的 解决：同步集群时间即可 同步步骤： 思路：比如集群有三台机器：node1,node2,node3,将node1作为时间服务器，其它两台与node1同步即可。 一、设置时间服务器：（node1中执行） 1、vi /etc/ntp.conf 注释掉restrict default kod...
那些年踩过的坑 hive 启动异常
天角蚁
09-17 1276
Exception in thread "main" java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 异常 异常) Logging initialized using configuration in jar:file:/opt/software/hive/lib/hiv
Hive使用过程中踩过的坑
gqing_的博客
10-27 1649
hive启动时错误1 Cannot execute statement:impossible to write to binary long since BINLOG_FORMAT = STATEMENT... 当启动时报错 Caused by: javax.jdo.JDOException:Couldnt obtain a new sequence(unique id):Cannot exec...
hadoop任务执行时，报错
11-09 2072
2020-11-06 03:42:43,205 ERROR org.apache.hadoop.yarn.server.resourcemanager.scheduler.SchedulerApplicationAttempt: Error trying to assign container token and NM token to an allocated container container_1604647286933_0002_01_000001 java.lang.IllegalArgumen
[日常Debug]Hive问题之org.apache.hadoop.security.AccessControlException
Algorithm_goddness的博客
07-04 587
org.apache.hadoop.security.AccessControlException hive> load data local inpath 'clickstream.txt' into table user_dimension; FAILED: Hive Internal Error: java.lang.RuntimeException(org.apach...
Hadoop 2.0 Yarn代码：ResourcesManager端代码_RM端各模块服务的启动
weixin_33676492的博客
08-19 112
1.概览 以下介绍的NodeManager是如何启动和注册各个服务的 主要涉及的Java文件 hadoop-yarn-server-resourcemanager下的包org.apache.hadoop.yarn.server.resourcemanager： ResourcesManager.java   2.代码分析 Hadoop启动时。ResourcesManager的...
yarn中resourcemanager启动不了，启动hregionserver后又挂掉了问题的解决
Rocky
09-09 2万+
启动Hadoop-2.2.0中的yarn时，resourcemanager进程一直没有启动起来。 查看日志文件中的信息tail -n 50 yarn-dell-resourcemanager-master1.log 出现一下异常： 2016-09-09 14:41:09,341 INFO org.apache.hadoop.service.AbstractService: Service R
ERROR org.apache.hadoop.yarn.server.resourcemanager.ResourceManager: RECEIVED SIGNAL 15: SIGTERM
热门推荐
蔡先生的专栏
03-17 3万+
重新搭建Hadoop集群，一切配置就绪后，启动集群后，在Master和所有的Slave节点上通过JPS命令都可以看到集群应该启动的进程都已经启动了。通过50070端口也可以查看到所有DataNode处于Live状态，而且可以正常往HDFS上传下载文件。 但是在8088端口查看不到任何Nodes的信息，提交任务到集群，任务一直卡在Accepted状态。 通过查看日志发现提示如下错误： 2016
hive启动Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/tez/dag/api/TezConfiguration
最新发布
11-28
根据提供的引用内容，这个错误通常是由于缺少Tez依赖项导致的。Tez是Hadoop的一个高性能数据处理框架，Hive使用它来执行查询。为了解决这个问题，你可以尝试以下几个步骤： 1.检查Hive的配置文件hive-site.xml中是否正确配置了Tez相关的属性，例如tez.lib.uris和hive.execution.engine等。 2.检查Hive的classpath中是否包含了Tez相关的jar包，例如tez-api.jar和tez-runtime-internals.jar等。 3.检查Hadoop集群中是否正确安装了Tez，并且Tez相关的jar包是否已经上传到了HDFS上。 以下是一个可能的解决方案： 1.在hive-site.xml中添加以下属性： ```xml <property> <name>tez.lib.uris</name> <value>/path/to/tez.tar.gz</value> </property> <property> <name>hive.execution.engine</name> <value>tez</value> </property> ``` 其中，/path/to/tez.tar.gz是Tez的安装包路径。 2.将Tez相关的jar包添加到Hive的classpath中。可以通过以下命令将它们添加到Hive的classpath中： ```shell export HIVE_AUX_JARS_PATH=/path/to/tez-jars/* ``` 其中，/path/to/tez-jars是Tez的jar包所在的目录。 3.确保Tez已经正确安装并上传到了HDFS上。可以通过以下命令检查： ```shell hadoop fs -ls /path/to/tez ``` 如果Tez已经上传到了HDFS上，应该会看到类似于以下的输出： ```shell Found 1 items drwxr-xr-x - user supergroup 0 2021-08-01 12:00 /path/to/tez/tez.tar.gz ``` 如果Tez没有上传到HDFS上，可以使用以下命令将其上传： ```shell hadoop fs -put /path/to/tez.tar.gz /path/to/tez/ ```
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值