[解决] HiveServer2中使用jdbc访问hbase时导致ZooKeeper连接持续增加的解决

最新推荐文章于 2024-07-06 02:51:44 发布

代立冬

最新推荐文章于 2024-07-06 02:51:44 发布

阅读量7.1k

点赞数 2

分类专栏： ●数据仓库 --------【Hive】文章标签： ZooKeeper连接过多

本文链接：https://blog.csdn.net/oDaiLiDong/article/details/50723398

版权

博客内容描述了作者在监控中发现HiveServer2通过jdbc访问HBase时，ZooKeeper的连接数持续增加的问题。尽管已关闭并发功能，ZooKeeper连接仍会上涨。作者通过日志分析，发现在MapRedTask的execute方法中，Hadoop的JobClient提交任务时会产生Zookeeper连接。最终，作者通过设置`hive.exec.submitviachild`为true，使每个job在子进程中提交，解决了资源未释放的问题。

摘要由CSDN通过智能技术生成

最近在监控中发现HiveServer2连接到zookeeper里的连接持续上涨，很奇怪，虽然知道HiveServer2支持并发连接，使用ZooKeeper来管理Hive表的读写锁，但我们的环境并不需要这些，我们已经关闭并发功能，以下是线上的配置，甚至把这些值都改成final了。

但是zookeeper连接依然会涨。后来想想，我们要访问的表是hive去映射的hbase，hiveserver2什么时候去连接zookeeper，它连接zookeeper干么，先从日志下手，将线上日志级别改为了debug，然后在hiveserver2.log发现了如下信息:

2016-02-23 14:03:30,271 DEBUG [HiveServer2-Background-Pool: Thread-598-SendThread(hadoop002:2181)]: zookeeper.ClientCnxn (ClientCnxn.java:readResponse(717)) - Got ping response for sessionid: 0x252fd37100600d2 after 0ms
2016-02-23 14:03:30,325 DEBUG [HiveServer2-Background-Pool: Thread-797-SendThread(hadoop003:2181)]: zookeeper.Cl