phoenix4.9 在hbase进行compaction后出现zookeeper连接泄漏问题

最新推荐文章于 2023-05-11 18:11:02 发布
最新推荐文章于 2023-05-11 18:11:02 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wangweidong_hb/article/details/62235094
版权

        最近开发环境使用过程当中遇到hbase RegionServer 存在过多的zookeeper连接，出先连接泄漏问题。通过jmap命令查看内存信息发现是在zookeeper连接被HRegion当中某些对象保存起来没有释放掉，使用jstack查看当前进程堆栈信息，发现compaction调用了phoenix中代码，如图所示


查找源码发现在DefaultStatisticsCollector类的initGuidepostDepth出代码为


htable是HTableInterface的实现类对象，查看源码发现该对象在创建时需要生产一个RegionCoprocessHConnection对象，该对象父类HConnectionImplementation当中引用了类ZookeeperKeepAliveConnection 对象引用，该类是hbase对zookeeper的封装类，调用HConnectionImplementation当中的getKeeperAliveZookeeperWatcher方法后会将Zo

最低0.47元/天 解锁文章
wwd_hb
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
zookeeper 大量连接断开重连原因排查
weixin_33738982的博客
06-04 3474
问题现象   最后发现线上的zookeeper的日志zookeeper.out 文件居然有6G，后来设置下日志为滚动输出，参考：   http://blog.csdn.net/hengyunabc/article/details/19006911   但是改了之后，发现一天的日志量就是100多M，滚动日志一天就被冲掉了，这个不科学。   再仔细查看下日志里的内容，发现有很多...
hbase zookeeper session重连机制
weixin_42610671的博客
02-15 228
HBase作为一个分布式系统，需要ZooKeeper来进行集群的协调和管理。在HBase中，ZooKeeper Session是指客户端与ZooKeeper服务器之间的逻辑连接，如果客户端与ZooKeeper服务器的Session失效，客户端需要重新连接到ZooKeeper服务器。 HBase的ZooKeeper Session重连机制分为两种情况： 客户端与ZooKeeper服务器的连接断开，...
HBASE Phoenix异步创建索引报错
W_chuanqi的博客
05-11 326
修改hbase-site.xml 的这个配置项：hbase.zookeeper.quorum。分发 hbase-site.xml 文件。关闭phoenix、hbase。启动hbase、phoenix。
解决HBase分布式集群中zookeeper无法正常启动的问题
weixin_42209572的博客
05-06 4271
Hadoop集群用到的工具 版本号 节点名称 hadoop 2.7.1 Master hbase 1.4.7 Slave1 zookeeper 3.4.10 Slave2 Zookeeper下载：Apache官网上自行下载合适版本：https://zookeeper.apache.org/ Zookeeper简介 分布式协...
Phoenix创建二级索引遇到的问题
weixin_46144832的博客
04-04 263
Phoenix创建二级索引遇到的问题 创建二级索引: create local index “idx_tel” on “employee”(“family”.“tel”); 报错: Error: ERROR 102 (08001): Malformed connection url. ERROR 102 (08001): ERROR 102 (08001): Malformed connection url. :node01:2181,node02:2181,node03:2181:2181:/hbase
phoenix-hbase-2.4-5.1.2
03-09
配置时，需要将Phoenix的JAR文件添加到HBase的类路径中，然后在HBase的配置文件中指定Phoenix的相关参数，如连接URL、Zookeeper地址等。 4. **使用Phoenix进行数据操作** 开发者可以通过JDBC驱动连接到Phoenix，...
springboot集成phoenix+hbase
10-26
而Phoenix是一个开源的SQL层，它构建在HBase之上，提供了高性能的数据库查询能力。本示例将详细解释如何将Spring Boot与Phoenix和HBase集成，以创建一个完整的数据访问解决方案。 首先，我们需要在Spring Boot项目...
java-hbase-phoenix:通过Phoenix访问HBase
05-18
由于我在HBase的设置上使用伪分布式模式，因此需要hadoop和zookeeper。 如果您的HBase设置是独立的，则不需要安装和设置该堆栈先决条件1. 2. 3. 4. 5. 6. 运行项目的步骤伪分布式模式1. /hadoop-3.1.0/sbin/start-...
hbase和zookeeper配置
03-08
HBase 和 ZooKeeper 配置详解 HBase 和 ZooKeeper 是两个非常重要的分布式系统组件，分别用于分布式数据库和分布式协调服务。今天，我们将详细介绍如何配置 HBase 和 ZooKeeper，以便更好地理解它们之间的交互。 ...
使用Phoenix通过jdbc连接hbase
10-17
这篇文档将详细介绍如何使用Phoenix通过JDBC（Java Database Connectivity）连接到HBase数据库，并进行相关的数据操作，如表的创建、删除以及数据的增删改查。 首先，理解Phoenix的作用至关重要。Phoenix提供了SQL...
记一次惨痛的zookeeper连接教训
二二二二狗的博客
04-12 936
因为工作需要导致需要重启tomcat，结果重启一直不成功，tomcat每次都卡在一个地方，也没用报错信息。由于一直没头绪，所以暂时先放着，让tomcat自己在那卡着，哈哈哈~~~ 后面，大概半小时过去查看tomcat日志发现出现了一个错误（第一次看到报错这么激动，草） org.springframework.beans.factory.BeanCreationException: Error cr...
zookeeper连接不上
热门推荐
junqilong的博客
10-10 1万+
在本地虚拟机上安装完zookeeper之后，java代码测试发布服务，总是报：Opening socket connection to server 192.168.89.129/192.168.89.129:2181. Will not attempt to authenticate using SASL (unknown error)2017-10-10 11:59:31,731  WARN ...
zookeeper分布式锁超时没有自动释放
qqXHwwqwq的博客
07-27 7995
在使用ZK分布式锁时，我们使用的是zk的临时节点，当系统宕机或者异常终止导致节点删除没有被显示调用时，锁将不释放。 此时只能依靠zk自身的sessionTimeout来删除节点。 如果sessionTimeout后依然没有删除节点，考虑是否是zk集群服务器时间不一致的问题。
HiveServer2 ZooKeeper 连接泄漏
weixin_33836223的博客
10-26 303
昨天线上ETLJob突然挂起，查看Hive Log异常：[ERROR]:Utils - FAILED: Error in acquiring locks: Locks on the underlying objectscannot be acquired. retry after some timeWARNunexpected error, closing socket co...
Zookeeper3.4.14服务端连接内存泄漏问题
qq_40882561的博客
03-24 3604
zk 3.4.14 复现： wireshark抓包 模拟报文，创建会话后，getdata请求，发出报文后立刻断开socket。 此时服务端会报如下一组日志： jmap -histo:live pid | grep Cnxn 来查看服务端连接对象个数。正常情况下一个连接会对应到一个session。 循环操作上面的请求后，netstat发现连接被清理，但是zk服务端内存中的NIOServerCnxn无法被回收。一直操作可造成zk服务端OOM。 解决： 经测试，zk升级到3.6.2可修复 原因： issu
基于NSGA-II的智能车辆换道轨迹规划与优化_查云飞.caj
最新发布
07-31
基于NSGA-II的智能车辆换道轨迹规划与优化_查云飞
Phoenix连接zookeeper管理的hbase，需要在本地配置host吗
05-30
在Phoenix连接ZooKeeper管理的HBase时，通常不需要在本地配置host。你只需要确保Phoenix客户端可以访问ZooKeeper服务即可。一般情况下，你可以通过在Phoenix客户端中指定ZooKeeper的IP地址和端口号来连接ZooKeeper。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值