zookeeper-3.4.13版本bug导致too many files open

最新推荐文章于 2022-01-25 16:54:07 发布
最新推荐文章于 2022-01-25 16:54:07 发布
阅读量1k 收藏
点赞数
文章标签： zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Horizon_Zy/article/details/108871812
版权

3.4.13的zk版本存在问题。当使用域名作为connectionStr时。并且域名无法解析成功。zk会一直发起重试连接，一个重试连接其实就会占用一个socket文件。zk的逻辑存在问题，老的socket文件没有清理，导致linux下too many files open.

本质问题是，zk清理老的socket file是在 org.apache.zookeeper.ClientCnxnSocket#doTransport方法中。但是如果当域名无法解析时，无法进入到这个方法中，去将cancelkeys对应的fd进行删除。只会去将socket文件进行preClose,不会close.现象就是会存在很多个没有名称的socket文件。

Horizon_Zy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
zookeeper集群模式下报连接数过多问题
aolv3500的博客
12-28 1165
应用后台报错zookeeper连接超时，在此之前并没用出现过此类错误，是转成zookeeper集群后才出现的，(最后发现还是代码问题) 在zookeeper.out中出现too many connecttion from ^_^ip ：显示我在^_^ip上的某应用请求过度！ [maxClientCnxns]默认值60，对于那些单应用都是足够得，除非是在此集群上部署了十几个应用...
zookeeper-3.4.13
10-24
欢迎来下载zookeeper-3.4.13版本额jar包，
kafka 由于网络原因，最后报错打开的文件过多 (org.apache.zookeeper.ClientCnxn)停止结束服务，求教！ --- 采坑
qq_41497111的博客
05-06 4586
kafka 运行好好地，今天一用发现有一台服务停了，最后查看日志发现为网络原因，打开文件过多，代理停止。求教大佬解决方案！ [2019-05-01 17:59:08,224] INFO Socket error occurred: 192.168.5.101/192.168.5.101:2181: 网络不可达 (org.apache.zookeeper.ClientCnxn) [2019-05...
线上too many open files问题排查记录
iamzhongyong的专栏
04-20 325
        周三上午刚到工位，看到群里大家在讨论问题，就好奇一起看了一下，经过两个多小时的折腾，问题定位并解决，中间走了一些弯路，收获就是知道了“Too many open files”了，本来想整理一下自己的疑问写篇文章的，昨晚发现毕玄@bluedavy把问题整理了一下（http://hellojava.info/?p=79），学习了，但是我觉得我还是有必要站在自己的角度整理一下。   ...
Kafka常用操作：创建，删除，生产，消费topic。Too many open file问题修复。修改偏移量，重新消费。
u010479989的博客
01-25 5519
Topic命令 创建topic kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 3 --topic test 192.168.6.57:9092,192.168.6.58:9092,192.168.6.59:9092 删除topic ./kafka-topics.sh –delete -zookeeper kafka-1:2181,kafka-2:2181,kafka-
CDH 组件升级：zookeeper升级到 3.4.14
eyeofeagle的博客
05-26 3184
1, 存在的问题 Apache ZooKeeper 3.4.10之前版本、3.5.0-alpha版本至3.5.3-beta版本，在身份验证/授权检测实现中存在安全漏洞，可使任意端点加入群集，修改内容 https://www.linuxidc.com/Linux/2018-05/152640.htm 2, 升级 a, 查看现有的版本，和启动过程 [root@test-c6 ~]# echo stat|nc localhost 2181 Zookeeper version: 3.4.5-cdh5.12.0
zookeeper-3.4.13.tar.gz 下载（5积分）
08-23
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是以Fast Paxos算法为基础，实现同步服务，配置维护和命名服务等分布式应用。而使用kafka前必须安装zookeeper。...（文件全称：zookeeper-3.4.13.tar.gz）
zookeeper-3.4.13.jar，zookeeper-3.4.13-sources.jar
10-15
java开发中zookeeper相关的依赖Jar包，然后在IDE中添加此依赖。以及相应的zookeeper源码。
zookeeper-3.4.13.zip
08-22
Zookeeper-3.4.13是其一个稳定版本，提供了丰富的功能和优化，使得它成为Dubbo等微服务框架的理想注册中心。 1. **Zookeeper的基本概念**： Zookeeper是一个分布式的，开放源码的分布式应用程序协调服务。它是集群...
zookeeper-3.4.13.tar.gz
11-16
ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要...其中，ZooKeeper-3.4.13.tar.gz 是非常适合学习的版本，在很多教材中本被使用。欢迎大家下载~~
解Bug之路-ZooKeeper集群拒绝服务
jahughag的博客
06-22 3202
解Bug之路-ZooKeeper集群拒绝服务 前言 ZooKeeper作为dubbo的注册中心，可谓是重中之重，线上ZK的任何风吹草动都会牵动心弦。最近笔者就碰到线上ZK Leader宕机后，选主无法成功导致ZK集群拒绝服务的现象，于是把这个case写出来分享给大家(基于ZooKeeper 3.4.5)。 Bug现场 一天早上，突然接到电话，说是ZooKeeper物理机宕机了，而剩余几台机器状态都是 sh zkServer.sh status it is probably not running
Zookeeper集群的崩溃恢复
XYZ
06-17 2155
Zookeeper可以帮我们实现服务的注册与发现。然而，现在有一个问题是，如果只采用一个Zookeeper服务器，那么当这个服务器宕机时，意味着整个分布式服务无法正常工作。为了解决这一问题，就需要Zookeeper集群。 然而，在使用Zookeeper集群时，也存在着一个问题，即集群中数据一致性的维护。 如上图所示，Zookeeper集群是一主多从结构。 在更新数据时，首先更新到主服务节点，再更新到从服务节点； 在读数据时，直接读取任意从服务节点； 为了保证从节点的数据一致性，Zookeeper采用ZA
linux 打开文件数 too many open files 解决方法
热门推荐
傲雪星枫
06-26 15万+
linux 打开文件数 too many open files 解决方法 too many open files
dubbo连接池爆满
Tim_java2的博客
11-02 3万+
一、发现问题 先看看问题表象： 1、服务消费者端应用本地保存注册列表异常，报Too many open files ....... 二、分析问题 1、分析tcp连接 首先从表象来看，too many open files这个问题网上有很多答案，就是文件句柄数超过了系统设置，系统设置为65535。而linux文件句柄是包含了文件的读写和tcp连接。 2、分析dubbo的NIO机制 先判断7W个连接都是dubbo的消费者到dubbo提供者之间的。如下图第4
Kafka问题整理 (Too many open files等)/kafka重要参数总结
kekevin的博客
04-21 7814
Kafka集群搭建好以后，运行一段时间Kafka节点挂掉，程序中出现如下错误 ERROR Error while accepting connection (kafka.network.Acceptor) java.io.IOException: Too many open files 使用命令：ulimit -a 查看每个用户允许打开的最大文件数 发现系统默认的是open files (-n) 1024，问题就出现在这里。 然后执行：ulimit -n 4096 ...
Nginx之——nginx:accept() failed (24: Too many open files)
冰河的专栏
05-16 1万+
有一台服务器访问量非常高，使用的是nginx ，错误日志不停报以下错误： 2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files) 2016/05/16 08:53:49 [alert] 13576#0: accept() failed (24: Too many open files) 20
Cannot start service zookeeper: failed to create shim task: OCI runtime create failed: runc create failed: unable to start container process: error during container init: error mounting "/home/iot-master/kafka/zoo.cfg" to rootfs at "/opt/zookeeper-3.4.13/conf/zoo.cfg": mount /home/iot-master/kafka/zoo.cfg:/opt/zookeeper-3.4.13/conf/zoo.cfg (via /proc/self/fd/6), flags: 0x5000: not a directory: unknown: Are you trying to mount a directory onto a file (or vice-versa)? Check if the specified host path exists and is the expected type
最新发布
06-03
这个错误是由于在启动Zookeeper服务时，无法将本地文件系统路径/home/iot-master/kafka/zoo.cfg挂载到容器的/opt/zookeeper-3.4.13/conf/zoo.cfg目录。可能是由于指定的本地路径不存在或者是不是一个目录而导致的。 你可以尝试检查指定的本地路径/home/iot-master/kafka/zoo.cfg是否存在，并且确保它是一个文件而不是一个目录。同时，还需要确保指定的容器目录/opt/zookeeper-3.4.13/conf/zoo.cfg存在。 如果这些都没问题，可以尝试使用其他的本地路径或者容器目录来重新启动Zookeeper服务。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值