Hive任务超时报错 Invalid OperationHandle

一个奇怪的问题

有个任务报错如下

Invalid OperationHandle: OperationHandle [opType=EXECUTE_STATEMENT, getHandleIdentifier()=373ae075-499f-4ccf-a75b-43152be71c67]

查看hiveserver2的日志

2020-04-28 06:06:50,413 WARN  org.apache.hive.service.CompositeService: [HiveServer2-Background-Pool: Thread-24]: Session SessionHandle [a666e7

d3-351a-484c-bfc2-cddc62b64706] is Timed-out (last access : Tue Apr 28 04:03:35 CST 2020) and will be closed

2020-04-28 06:06:50,413 INFO  org.apache.hive.service.CompositeService: [HiveServer2-Background-Pool: Thread-24]: Session closed, SessionHandle

[a666e7d3-351a-484c-bfc2-cddc62b64706], current sessions:2

2020-04-28 06:06:50,414 INFO  org.apache.hive.service.cli.operation.OperationManager: [HiveServer2-Background-Pool: Thread-24]: Closing operati

on: OperationHandle [opType=EXECUTE_STATEMENT, getHandleIdentifier()=373ae075-499f-4ccf-a75b-43152be71c67]

2020-04-28 06:06:50,415 INFO  org.apache.hive.service.cli.operation.Operation: [HiveServer2-Background-Pool: Thread-24]: The running operation

has been successfully interrupted: hive_20200428040303_4785a04b-7f82-42c7-8efa-06f08442b33e

2020-04-28 06:06:50,416 WARN  org.apache.hadoop.hive.ql.Driver: [HiveServer2-Background-Pool: Thread-24]: Shutting down task : Stage-14:MAPRED

2020-04-28 06:06:50,418 WARN  org.apache.hadoop.ipc.Client: [HiveServer2-Background-Pool: Thread-1315819]: interrupted waiting to send rpc requ

est to server

java.lang.InterruptedException

可以看到,是由于Session SessionHandle 超时了,然后关闭了 OperationHandle , 后面再操作这个OperationHandle时,就报无效的错误了

关键就是Session为什么会超时!!!

 

beeline控制台,任务运行好几个小时,都不会超时退出

但是jdbc连接提交的任务,运行一个小时不到就超时退出了,主要是提供两种方式提供的服务不同,就是提供服务的类不同

1. beeline对应的服务类: org.apache.hive.service.cli.CLIService

2. jdbc 对应的服务类: org.apache.hive.service.cli.session.SessionManager

SessionManager这个类是以会话形式对外提供服务,jdbc和hive on spark都是基于这个服务

两个类都是继承自:org.apache.hive.service.CompositeService

 

查看SessionManager类, 发现多了一个方法 

private void startTimeoutChecker()

这个是检查超时的机制,源代码如下

可以看到if条件,当sessionTimeout > 0 时,如果真的是长时间session没有访问,就会执行closeSession方法

也就是如果不想执行该方法, 只需要把sessionTimeout设置为0即可,该变量的值来源于一个参数,如下设置即可

<property>
<name>hive.server2.idle.session.timeout</name>
<value>0</value>
</property>

 

再看else分支,也会关闭超时的操作,继续深入看源码

可以看到如果operationTimeout设置为0,则不再判断超时,设置如下

<property>
<name>hive.server2.idle.operation.timeout</name>
<value>0</value>
</property>

如上即可完成操作

 

继续查看代码,如何启动超时检查

这里只有当checkInterval > 0 时才检查, 该变量也是对应一个参数,原以为可以设置如下

<property>
<name>hive.server2.session.check.interval</name>
<value>0</value>
</property>

结果发现,在HiveConf中定义该字段的最小值3000msec,不可以这样设置,这个办法行不通

 

总结: 这三个参数默认值是 0 ,也就是不启用该检查功能。所以只有配置了该参数的集群才有可能遇到这个问题

还要注意的是这三个参数是服务端参数,session中通过set设置并不生效,但是不会报错,需要在hive-site.xml中设置,然后重启

 

完工

 

 

运行的任务,任务一直在执行,并没有阻塞执行,为什么会超时,不得而知

留作以后完善

  • 0
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
Hive Metastore Canary时,这可能是由于以下几个原因造成的。 首先,检查Hive Metastore服务是否正常运行。可以通过查看日志文件或运行命令(如`systemctl status hive-metastore`或`service hive-metastore status`)来确定服务是否启动。如果服务未启动,可以尝试重新启动它并观察是否解决了问题。 其次,检查Hive Metastore配置文件是否正确。Hive Metastore的配置文件通常位于`/etc/hive/conf/hive-site.xml`路径下。确保配置文件中的所有属性和值都是正确的,并且与其他相关组件(如Hadoop)的配置相匹配。 另外,检查Hive Metastore连接的数据库是否可用。Hive Metastore使用数据库来存储元数据信息,例如表、分区和列等。确保数据库服务已启动,并且Metastore配置文件中的数据库连接属性正确设置。 此外,还要考虑Hive Metastore版本与其他组件的兼容性。如果使用的Hive Metastore版本与其他组件(如Hadoop、Spark等)不兼容,可能会导致Canary。在这种情况下,可以尝试升级或降级Hive Metastore版本,以与其他组件保持兼容性。 最后,如果以上方法都没有解决问题,可以尝试重启整个Hive集群。有时候,重启可以解决一些不明原因的故障。 综上所述,当Hive Metastore Canary时,我们可以通过检查Hive Metastore服务、配置文件、数据库连接以及版本兼容性来解决问题。如果以上方法都无效,我们可以尝试重启整个Hive集群。
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值