hivesql运行报错：java.lang.reflect.InvocationTargetException

最新推荐文章于 2024-07-10 16:42:23 发布
最新推荐文章于 2024-07-10 16:42:23 发布
阅读量1.9k 收藏
点赞数
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43451620/article/details/127359419
版权

hive中的sql运行日志如下：
2022-10-17 10:33:04 INFO Diagnostic Messages for this Task:

2022-10-17 10:33:04 INFO Error: java.io.IOException: java.lang.reflect.InvocationTargetException

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.io.HiveIOExceptionHandlerChain.handleRecordReaderCreationException(HiveIOExceptionHandlerChain.java:97)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.io.HiveIOExceptionHandlerUtil.handleRecordReaderCreationException(HiveIOExceptionHandlerUtil.java:57)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:266)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.(HadoopShimsSecure.java:213)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileInputFormatShim.getRecordReader(HadoopShimsSecure.java:333)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.ql.io.CombineHiveInputFormat.getRecordReader(CombineHiveInputFormat.java:729)

2022-10-17 10:33:04 INFO at org.apache.hadoop.mapred.MapTask$TrackedRecordReader.(MapTask.java:169)

2022-10-17 10:33:04 INFO at org.apache.hadoop.mapred.MapTask.runOldMapper(MapTask.java:432)

2022-10-17 10:33:04 INFO at org.apache.hadoop.mapred.MapTask.run(MapTask.java:343)

2022-10-17 10:33:04 INFO at org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:169)

2022-10-17 10:33:04 INFO at java.security.AccessController.doPrivileged(Native Method)

2022-10-17 10:33:04 INFO at javax.security.auth.Subject.doAs(Subject.java:422)

2022-10-17 10:33:04 INFO at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1995)

2022-10-17 10:33:04 INFO at org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:162)

2022-10-17 10:33:04 INFO Caused by: java.lang.reflect.InvocationTargetException

2022-10-17 10:33:04 INFO at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

2022-10-17 10:33:04 INFO at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)

2022-10-17 10:33:04 INFO at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

2022-10-17 10:33:04 INFO at java.lang.reflect.Constructor.newInstance(Constructor.java:423)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.shims.HadoopShimsSecure$CombineFileRecordReader.initNextRecordReader(HadoopShimsSecure.java:252)

2022-10-17 10:33:04 INFO … 11 more

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:86)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:76)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.FSDirStatAndListingOp.getBlockLocations(FSDirStatAndListingOp.java:155)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:2150)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getBlockLocations(NameNodeRpcServer.java:795)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations(ClientNamenodeProtocolServerSideTranslatorPB.java:493)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.ProtobufRpcEngine S e r v e r Server ServerProtoBufRpcInvoker.call(ProtobufRpcEngine.java:554)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1105)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1069)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:996)

2022-10-17 10:33:04 INFO at java.base/javax.security.auth.Subject.doAs(Subject.java:423)

2022-10-17 10:33:04 INFO at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:2010)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.Server$Handler.run(Server.java:3061)

2022-10-17 10:33:04 INFO

2022-10-17 10:33:04 INFO at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)

2022-10-17 10:33:04 INFO at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)

2022-10-17 10:33:04 INFO at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)

2022-10-17 10:33:04 INFO at java.lang.reflect.Constructor.newInstance(Constructor.java:423)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:951)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:938)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.DFSClient.getLocatedBlocks(DFSClient.java:927)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.DFSClient.open(DFSClient.java:1105)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:381)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.DistributedFileSystem$4.doCall(DistributedFileSystem.java:376)

2022-10-17 10:33:04 INFO at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.DistributedFileSystem.open(DistributedFileSystem.java:399)

2022-10-17 10:33:04 INFO at org.apache.hadoop.fs.FileSystem.open(FileSystem.java:900)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.extractMetaInfoFromFooter(ReaderImpl.java:356)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.ql.io.orc.ReaderImpl.(ReaderImpl.java:317)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.ql.io.orc.OrcFile.createReader(OrcFile.java:190)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.ql.io.orc.OrcInputFormat.getRecordReader(OrcInputFormat.java:1121)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hive.ql.io.CombineHiveRecordReader.(CombineHiveRecordReader.java:67)

2022-10-17 10:33:04 INFO … 16 more

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:86)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.INodeFile.valueOf(INodeFile.java:76)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.FSDirStatAndListingOp.getBlockLocations(FSDirStatAndListingOp.java:155)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getBlockLocations(FSNamesystem.java:2150)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.getBlockLocations(NameNodeRpcServer.java:795)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.getBlockLocations(ClientNamenodeProtocolServerSideTranslatorPB.java:493)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.ProtobufRpcEngine S e r v e r Server ServerProtoBufRpcInvoker.call(ProtobufRpcEngine.java:554)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:1105)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:1069)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.Server$RpcCall.run(Server.java:996)

2022-10-17 10:33:04 INFO at java.base/javax.security.auth.Subject.doAs(Subject.java:423)

2022-10-17 10:33:04 INFO at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:2010)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.Server$Handler.run(Server.java:3061)

2022-10-17 10:33:04 INFO

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.Client.getRpcResponse(Client.java:1665)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.Client.call(Client.java:1611)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.Client.call(Client.java:1509)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:257)

2022-10-17 10:33:04 INFO at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:131)

2022-10-17 10:33:04 INFO at com.sun.proxy.$Proxy14.getBlockLocations(Unknown Source)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.getBlockLocations(ClientNamenodeProtocolTranslatorPB.java:364)

2022-10-17 10:33:04 INFO at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

2022-10-17 10:33:04 INFO at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

2022-10-17 10:33:04 INFO at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

2022-10-17 10:33:04 INFO at java.lang.reflect.Method.invoke(Method.java:498)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.ObserverReadProxyProvider$ObserverReadInvocationHandler.invoke(ObserverReadProxyProvider.java:524)

2022-10-17 10:33:04 INFO at com.sun.proxy.$Proxy11.getBlockLocations(Unknown Source)

2022-10-17 10:33:04 INFO at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)

2022-10-17 10:33:04 INFO at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)

2022-10-17 10:33:04 INFO at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)

2022-10-17 10:33:04 INFO at java.lang.reflect.Method.invoke(Method.java:498)

2022-10-17 10:33:04 INFO at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:434)

2022-10-17 10:33:04 INFO at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeMethod(RetryInvocationHandler.java:166)

2022-10-17 10:33:04 INFO at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invoke(RetryInvocationHandler.java:158)

2022-10-17 10:33:04 INFO at org.apache.hadoop.io.retry.RetryInvocationHandler$Call.invokeOnce(RetryInvocationHandler.java:96)

2022-10-17 10:33:04 INFO at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:360)

2022-10-17 10:33:04 INFO at com.sun.proxy.$Proxy11.getBlockLocations(Unknown Source)

2022-10-17 10:33:04 INFO at org.apache.hadoop.hdfs.DFSClient.callGetBlockLocations(DFSClient.java:949)

2022-10-17 10:33:04 INFO … 29 more

2022-10-17 10:33:04 INFO

2022-10-17 10:33:04 INFO

2022-10-17 10:33:04 INFO FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask

根据上述日志分析，是因为sql中缺失必要的参数导致。开启MR中间压缩，然后把压缩方式修改为snappy压缩即可。

SET hive.exec.compress.intermediate=TRUE;
SET mapred.map.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
SET mapred.output.compression.codec=org.apache.hadoop.io.compress.SnappyCodec;
cxf_coding
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive UDF开发注意事项
竹叶青 的专栏
11-14 8148
在开发的hive UDF中，有时候需要使用到第三方jar包，一般的做法是把第三方jar包和udf一起打包，结果在测试udf时，hive报错：java.lang.ClassNotFoundException      解决办法：              1）在运行hive hql时，手动将udf所需要的jar包 通过add语句 添加（测试通过）；               2）将udf所需
大数据-hive报错记录
let it go的博客
06-20 723
1.hive 与es 数据交互报错 Diagnostic Messages for this Task: Error: java.lang.RuntimeException: java.lang.NoClassDefFoundError: org/apache/commons/httpclient/HttpConnectionManager at org.apache.hadoop.hive.ql.exec.mr.ExecMapper.map(ExecMapper.java:169)
Hive Error in configuring object Caused by: java.lang.reflect.InvocationTargetException
weixin_46784562的博客
08-13 1619
报错日志 在一次Hive任务中出现报错，查看yarn日志如下，由于网上没有搜到解决办法，所以自己在官方issue中找到解决办法并记录下 2021-07-31 14:23:11,467 WARN [main] org.apache.hadoop.mapred.YarnChild: Exception running child : java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.Reflect
Hive的坑
joomlaer的专栏
10-18 5254
公司集群做了一个迁移。但不久以后，发现，从hive的cli执行命令到从phphiveadmin执行命令，都出现错误。 错误如下: ----- Diagnostic Messages for this Task: java.io.IOException: java.lang.reflect.InvocationTargetException at org.apache.had
sql运行报错处理，java.lang.reflect.InvocationTargetException
攻城狮Kevin
07-19 4320
hive中sql报错如下： Task with the most failures(4): ----- Task ID: task_1555070028014_29094475_m_000004 URL: http://0.0.0.0:8088/taskdetails.jsp?jobid=job_1555070028014_29094475&tipid=task_15550...
hive 报错 Caused by: java.lang.reflect.InvocationTargetException
wenlong237的专栏
10-31 7225
向一个表的分区中插入数据时 报错 java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:106) at org.apache.hadoop.util.ReflectionUtils.se
java.lang.reflect.InvocationTargetException
热门推荐
This is oH2Oo
06-08 13万+
产生原因： 1、包冲突、有重复包或者缺少包 2、项目jdk和部署jdk版本不一样，导致InvocationTargetException异常信息返回一个空值，没有调用invoc里的重写消息方法。 3、映射文件发生改变 对于不同原因的解决： 1、包：直接自己挨着查看就是了，但是一定要注意遇到重复包的时候你的系统究竟需要哪一个版本 2、jdk版本： ⑴、更换jdk包 ⑵、用一个方法统一处理该异常 pr...
scrcpy投屏 AssertionError: java.lang.reflect.InvocationTargetExcep
02-18
标题中的问题“scrcpy投屏 AssertionError: java.lang.reflect.InvocationTargetException”是用户在尝试使用Scrcpy时遇到的一个常见错误。这个错误通常意味着在执行某个方法时，Java运行时环境遇到了未预期的情况。...
BEWINDOWEB#bewindoweb.github.io#00078-编写basedao的时候报错：java.lang.C
07-25
编写basedao的时候报错：java.lang.Class cannot be cast to java.lang.reflect.Parameterized
解决axis2-CodegenWizardPluginBUG- java.lang.reflect.InvocationTargetException
05-25
然而，在运行此插件时，由于某些原因可能会抛出`java.lang.reflect.InvocationTargetException`，这是一个反射调用异常，通常表示在调用某个方法时发生了异常。 `InvocationTargetException`通常作为Java标准库中的...
java.lang.IllegalArgumentException:Input == null的异常处理
01-08
java.lang.ExceptionInInitializerError Caused by: java.lang.IllegalArgumentException: input == null! at javax.imageio.ImageIO.read(ImageIO.java:1388) at com.pleanwar.fiying.FlyingObject.loadImage...
MyEclipse axis2 wsdl java.lang.reflect.invocationtargetexception
12-02
MyEclipse axis2 wsdl java.lang.reflect.invocationtargetexception code gen 大家要注意一定要仔细，这个问题基本上缺少包引起的，而且一定要clean 如果需要axis2插件 以及这个plugins中的包在我的其他资源里面有
java.lang.reflect.InvocationTargetException 解决方法
Mr_Runner的博客
11-01 5万+
解决方案：此错误是因为用Mybatis -代码自动生成（generatorConfig.xml）工具，对应的mapper的xml文件中生成了两个resultMap（BaseResultMap），删除其中一个，或删除此xml文件，重新生成。 造成的原因:Mybatis -代码自动生成（generatorConfig.xml）工具可能重复执行了。 异常（错误）信息：java.lang.reflec...
已解决java.lang.reflect.InvocationTargetException
03-29 8万+
java.lang.reflect.InvocationTargetException是Java反射机制中的一个异常类，它通常是由于被调用的方法或构造函数抛出了异常而引发的。
java.lang.reflect.InvocationTargetException异常处理方法
zxwwantlearnjava的博客
07-31 6818
加了一个mapper.xml文件后发生如下异常: java.lang.reflect.InvocationTargetException sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method) sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57) sun.reflect.DelegatingMethodAccessorImpl.invok
解决hive查询parquet表报错NullPointerException异常问题(ProjectionPusher.java:118)
ciqingloveless的博客
02-28 2824
这个问题在hive3.1已经解决，但是我查看源码之后发现hive2.3.6还是没解决，其实解决办法很简单，不知道为什么一直不更新，对应hivebug是HIVE-16958，我的报错信息如下 Diagnostic Messages for this Task: Error: java.io.IOException: java.lang.reflect.InvocationTargetExceptio...
Java大数据平台开发 学习笔记（74） —— Hive 报 LZO Premature EOF from inputStream 错误
qq_42209354的博客
03-08 415
1、问题描述： 今天例行的任务报 Premature EOF from inputStream 的错误 Task with the most failures(4): ----- Task ID: task_1615190392211_0031_m_000231 URL: http://hadoop02:8088/taskdetails.jsp?jobid=job_1615190392211_0031&tipid=task_1615190392211_0031_m_000231 ----
开启HIVE中分区表支持中文字段
最新发布
2301_77836489的博客
07-10 357
开启HIVE中分区表支持中文字段
jmeter启动报错：An error occurred: java.lang.reflect.InvocationTargetException
06-18
JMeter启动时遇到 "java.lang.reflect.InvocationTargetException" 错误通常是由于JMeter在尝试执行某个操作时遇到了问题，可能是Java代码中的异常没有被正确处理，或者是JMeter插件、配置文件或者环境设置出现了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值