记一次Hiveserver2连接异常的解决-腾讯云-emr

原文阅读：【巨人肩膀社区·博客·分享】记一次Hiveserver2连接异常的解决-腾讯云-emr

离线任务跑的好好的，忽然有一天失败了，查看海豚上的任务执行日志发现是hiveserver2连接超时了。

查看监控发现了几个问题一个是GC变得频繁，另一个是连接数达到上限了。

1、针对内存问题

GC变得频繁 =》内存不足 =》通过jdbc连接Hive查数数据时会使用hiveserver2配置的内存，如果查询需要的内存大于配置的内存时就会出现OOM

其中查询需要的内存会随着查询涉及的数据量的增加而增加，这就是为什么之前都是好好的，某一天出问题了，因为日增数据在一天天增长。

解决：修改配置增加所需内存

hive-env.sh中调整HS2Heapsize为8192，并重启hiveserver2生效。

<property>
  <name>hive.server2.heapsize</name>
  <value>4096</value>
</property>

因为我们用的是公有云的产品，所以可以直接通过可视化界面修改：





修改后重启hiveserver2生效

Tips：内存不是越大越好，多了浪费，还有一个更重要的就是会占用本节点其他服务的内存。



2、针对连接超上限

正常hive sql执行完对应hiveserver2的连接随之释放，但是某些原因可能导致任务异常，海豚调度的worker进程没有处理好这种异常导致一直不断开对hiveserve的连接。

解决：重启海豚调度的相关worker节点。

1.查看哪些ip和端口在连hiveserver2：netstat -tunp | grep xxxx

2.查看在这些ip里又是哪个进程发起的连接：sudo lsof -i :端口号

3.最终发现是海豚调度的worker进程一直不释放hs2的连接

4.最终重启海豚调度的worker进程

排查过程相关命令参见： shell 网络工具 netstat



结果：重启后连接断崖式下降：