修复windows环境zookeeper服务器重启有可能会导致客户端CPU占用率100%的问题

最新推荐文章于 2024-04-26 23:23:36 发布
最新推荐文章于 2024-04-26 23:23:36 发布
阅读量3.6k 收藏 1
点赞数
分类专栏： zookeeper 文章标签： zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fhxpp_27/article/details/9699679
版权

在项目中规划使用到了zookeeper当做分布式锁和服务器间session共享，在预研的过程中有个问题，当使用zookeeper提供客户端API连接上zookeeper服务器之后，将zookeeper服务器直接关闭有可能会导致客户端CPU占用率达到满负荷，所以就单步调试跟了进去，发现问题出处在mt_adaptor.c的425行上。

函数代码清单：

#ifdef WIN32
unsigned __stdcall do_io( void * v)
#else
void *do_io(void *v)
#endif
{
    zhandle_t *zh = (zhandle_t*)v;
#ifndef WIN32
    struct pollfd fds[2];
    struct adaptor_threads *adaptor_threads = zh->adaptor_priv;

    api_prolog(zh);
    notify_thread_ready(zh);
    LOG_DEBUG(("started IO thread"));
    fds[0].fd=adaptor_threads->self_pipe[0];
    fds[0].events=POLLIN;
    while(!zh->close_requested) {
        struct timeval tv;
        int fd;
        int interest;
        int timeout;
        int maxfd=1;
        int rc;
        
        zookeeper_interest(zh, &fd, &interest, &tv);
        if (fd != -1) {
            fds[1].fd=fd;
            fds[1].events=(interest&ZOOKEEPER_READ)?POLLIN:0;
            fds[1].events|=(interest&ZOOKEEPER_WRITE)?POLLOUT:0;
            maxfd=2;
        }
        timeout=tv.tv_sec * 1000 + (tv.tv_usec/1000);
        
        poll(fds,maxfd,timeout);
        if (fd != -1) {
            interest=(fds[1].revents&POLLIN)?ZOOKEEPER_READ:0;
            interest|=((fds[1].revents&POLLOUT)||(fds[1].revents&POLLHUP))?ZOOKEEPER_WRITE:0;
        }
        if(fds[0].revents&POLLIN){
            // flush the pipe
            char b[128];
            while(read(adaptor_threads->self_pipe[0],b,sizeof(b))==sizeof(b)){}
        }        
#else
    fd_set rfds, wfds, efds;
    struct adaptor_threads *adaptor_threads = zh->adaptor_priv;
    api_prolog(zh);
    notify_thread_ready(zh);
    LOG_DEBUG(("started IO thread"));
    FD_ZERO(&rfds);   FD_ZERO(&wfds);    FD_ZERO(&efds);
    while(!zh->close_requested) {      
        struct timeval tv;
        SOCKET fd;
        SOCKET maxfd=adaptor_threads->self_pipe[0];
        int interest;        
        int rc;
               
       zookeeper_interest(zh, &fd, &interest, &tv);
       if (fd != -1) {
           if (interest&ZOOKEEPER_READ) {
                FD_SET(fd, &rfds);
            } else {
                FD_CLR(fd, &rfds);
            }
           if (interest&ZOOKEEPER_WRITE) {
                FD_SET(fd, &wfds);
            } else {
                FD_CLR(fd, &wfds);
            }                  
        }
       FD_SET( adaptor_threads->self_pipe[0] ,&rfds );        
       rc = select((int)maxfd, &rfds, &wfds, &efds, &tv);
       if (fd != -1) 
       {
           interest = (FD_ISSET(fd, &rfds))? ZOOKEEPER_READ:0;
           interest|= (FD_ISSET(fd, &wfds))? ZOOKEEPER_WRITE:0;
        }
               
       if (FD_ISSET(adaptor_threads->self_pipe[0], &rfds)){
            // flush the pipe/socket
           char b[128];
           int read_count = 0;
           while((read_count = recv(adaptor_threads->self_pipe[0],b,sizeof(b), 0))==sizeof(b)){}
       }
#endif
        // dispatch zookeeper events
        rc = zookeeper_process(zh, interest);
        // check the current state of the zhandle and terminate 
        // if it is_unrecoverable()
        if(is_unrecoverable(zh))
            break;
    }
    api_epilog(zh, 0);    
    LOG_DEBUG(("IO thread terminated"));
    return 0;
}

问题在这条代码上

rc = select((int)maxfd, &rfds, &wfds, &efds, &tv);

由于rfds、wfds和efds都已经失效，因此select不会被阻塞，就相当进入了一个死循环，才导致CPU过高的。因此要在socket失效后，将rfds、wfds和efds置0，可防止此类问题出现。

增加代码：

if (read_count == -1)
           {	  
               LOG_ERROR(("由于通讯失效，重置检查描述字集."));
			   FD_ZERO(&rfds);   
			   FD_ZERO(&wfds);    
			   FD_ZERO(&efds);
           }

修改后的代码清单：

#ifdef WIN32
unsigned __stdcall do_io( void * v)
#else
void *do_io(void *v)
#endif
{
    zhandle_t *zh = (zhandle_t*)v;
#ifndef WIN32
    struct pollfd fds[2];
    struct adaptor_threads *adaptor_threads = zh->adaptor_priv;

    api_prolog(zh);
    notify_thread_ready(zh);
    LOG_DEBUG(("started IO thread"));
    fds[0].fd=adaptor_threads->self_pipe[0];
    fds[0].events=POLLIN;
    while(!zh->close_requested) {
        struct timeval tv;
        int fd;
        int interest;
        int timeout;
        int maxfd=1;
        int rc;
        
        zookeeper_interest(zh, &fd, &interest, &tv);
        if (fd != -1) {
            fds[1].fd=fd;
            fds[1].events=(interest&ZOOKEEPER_READ)?POLLIN:0;
            fds[1].events|=(interest&ZOOKEEPER_WRITE)?POLLOUT:0;
            maxfd=2;
        }
        timeout=tv.tv_sec * 1000 + (tv.tv_usec/1000);
        
        poll(fds,maxfd,timeout);
        if (fd != -1) {
            interest=(fds[1].revents&POLLIN)?ZOOKEEPER_READ:0;
            interest|=((fds[1].revents&POLLOUT)||(fds[1].revents&POLLHUP))?ZOOKEEPER_WRITE:0;
        }
        if(fds[0].revents&POLLIN){
            // flush the pipe
            char b[128];
            while(read(adaptor_threads->self_pipe[0],b,sizeof(b))==sizeof(b)){}
        }        
#else
    fd_set rfds, wfds, efds;
    struct adaptor_threads *adaptor_threads = zh->adaptor_priv;
    api_prolog(zh);
    notify_thread_ready(zh);
    LOG_DEBUG(("started IO thread"));
    FD_ZERO(&rfds);   FD_ZERO(&wfds);    FD_ZERO(&efds);
    while(!zh->close_requested) {      
        struct timeval tv;
        SOCKET fd;
        SOCKET maxfd=adaptor_threads->self_pipe[0];
        int interest;        
        int rc;
               
       zookeeper_interest(zh, &fd, &interest, &tv);
       if (fd != -1) {
           if (interest&ZOOKEEPER_READ) {
                FD_SET(fd, &rfds);
            } else {
                FD_CLR(fd, &rfds);
            }
           if (interest&ZOOKEEPER_WRITE) {
                FD_SET(fd, &wfds);
            } else {
                FD_CLR(fd, &wfds);
            }                  
        }
       FD_SET( adaptor_threads->self_pipe[0] ,&rfds );        
       rc = select((int)maxfd, &rfds, &wfds, &efds, &tv);
       if (fd != -1) 
       {
           interest = (FD_ISSET(fd, &rfds))? ZOOKEEPER_READ:0;
           interest|= (FD_ISSET(fd, &wfds))? ZOOKEEPER_WRITE:0;
        }
               
       if (FD_ISSET(adaptor_threads->self_pipe[0], &rfds)){
            // flush the pipe/socket
           char b[128];
           int read_count = 0;
           while((read_count = recv(adaptor_threads->self_pipe[0],b,sizeof(b), 0))==sizeof(b)){}
           if (read_count == -1)
           {	  
               LOG_ERROR(("由于通讯失效，重置检查描述字集."));
			   FD_ZERO(&rfds);   
			   FD_ZERO(&wfds);    
			   FD_ZERO(&efds);
           }
       }
#endif
        // dispatch zookeeper events
        rc = zookeeper_process(zh, interest);
        // check the current state of the zhandle and terminate 
        // if it is_unrecoverable()
        if(is_unrecoverable(zh))
            break;
    }
    api_epilog(zh, 0);    
    LOG_DEBUG(("IO thread terminated"));
    return 0;
}


伯诚
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
【zookeeper】zookeeper 性能优化与配置详解 一些踩坑建议
九师兄
09-15 4841
ZooKeeper的功能特性通过ZooKeeper配置文件来进行控制管理（ zoo.cfg配置文件）。ZooKeeper这样的设计其实是有它自身的原因的。通过前面对ZooKeeper的配置可以看出，对ZooKeeper集群进行配置的时候，它的配置文档是完全相同的（对于集群伪分布模式来说，只有很少的部分是不同的）。这样的配置方使得在部署ZooKeeper服务的时候非常地方便。另外，如果服务器使用不同的配置文件，必须要确保不同配置文件中的服务器列表相匹配。
zookeeper大量连接断开重连原因排查
大白兔的开发专栏
04-10 5639
问题现象 发现线上的zookeeper的日志zookeeper.out 文件居然有6G，后来设置下日志为滚动输出，参考： http://blog.csdn.net/hengyunabc/article/details/19006911 但是改了之后，发现一天的日志量就是100多M，滚动日志一天就被冲掉了，这个不科学。 再仔细查看下日志里的内容，发现有很多连接建立好，马上又断开： [jav...
如果你们的系统 CPU 突然飙升且 GC 频繁,如何排查
Saintyyu的博客
07-18 264
转载自： https://maimai.cn/article/detail?fid=1339344060&efid=JunjWu4-ReMYOR4mnJeiCQ
记一次springboot+dubbo+zookeeper cpu过高排查经历
qq_41901420的博客
03-03 1324
项目结构 OtseaMaster为Eureka注册中心 OtseaUser为dubbo的provider 模块的spring服务运行在8101端口，dubbo provider运行在20880端口 OtseaContent为dubbo的consumer 使用zookeeper做为dubbo的协调工具 使用机器为window cpu：i7-6500u 内存：8g cpu表现 三个模块跑起来后cpu开始跑满打开任务管理器发现dubbo的两个模块和zookeeper的进程占用了大部分的cpu，同时两个模块占用的
表象：zookeeper因内存使用率导致的集群不可用
shuaisunny的专栏
08-11 1301
线上突然告警，zk集群不可用。随机看了zk节点挂了前的的机器的CPU与内存，内存100%，如下图所示。 首先我看了日志，由于线上配置的问题，所有的日志全部扔掉了。基于日志没有发现有价值的内容，接着又看了节点的网络，TCP连接数，磁盘IO，线程数，这些都是在正常范围内。 接着想着尝试启动一个节点，启动成功。但是通过top命令查看zk线程CPU利用率在30%左右，在正常情况下zk一般不耗内存（除非异常了）。 下面是最耗CPU的堆栈信...
zookeeper因内存不足造成的CPU占用率高
wangjun825的博客
12-22 3314
Clickhouse出现建表非常慢的现象。去服务器上看到zookeeper有两个节点的CPU占用率达到50%以上，而另一个节点CPU占用正常。试图用zcCli登录zk失败“Unable to read additional data from server sessionid”，zkServer status也报错“Error contacting service. It is probably not running”，说无法连接。Netstat –anp看2181端口是在监听，不过地址看着是ipv6。怀
Clickhouse zookeeper 参数优化
vkingnew 的技术博客
04-21 3330
在clickhouse集群中，经常遇到和zookeeper压力相关的问题，可以试试如下方法： 1，建表语句设置use_minimalistic_part_header_in_zookeeper = 1，降低clickhouse在ZK上存储的数据量 2，合理调整zk内存使用上限 3，zoo.cfg配置文件中增加参数：(效果较为明显) MaxSessionTimeout=120000 forceSync=no auto.
windows系统搭建zookeeper服务器的教程
01-10
Windows下安装 把下载的zookeeper的文件解压到指定目录 C:\ZK\zookeeper-3.4.14> 修改conf下增加一个zoo.cfg 内容如下： # The number of milliseconds of each tick 心跳间隔 毫秒每次 tickTime=2000 # The number...
zookeeper客户端，windows
12-29
下载解压后,双击build目录下的zookeeper-dev-ZooInspector.jar，输入zk的地址即可
windows下zookeeper配置java环境变量的方法
08-26
今天小编就为大家分享一篇关于windows下zookeeper配置java环境变量的方法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
zookeeper调优
10-24
zookeeper调优的几个点，包含集群个数、java堆内存，事务日志文件、提交请求的速度等
Windows环境安装zookeeper
10-15
Windows环境安装zookeeper
prettyZoo，zookeeper window客户端
10-27
快速查看zookeeper内容 ，git 地址 https://github.com/vran-dev/PrettyZoo/releases 能够记录zookeeper密码 支持内容修改
Zookeeper内存调整方法
qq_42264264的博客
05-23 1538
将以下参数拷贝到/usr/local/service/zookeeper/bin/zkServer.sh 中。注意：带kerberos的环境需要格外关注认证问题。
【zookeeper】报错整理 zookeeper Packet len* is out of range
Mrerlou的博客
06-23 1352
最近发现测试环境 长时间 导致服务异常，经过排查后发现，是 服务里面存储的数据量过大，占用 堆内存过大，导致测试环境基本无法正常使用，于是在调大 内存大小，并重启 后，准备清理一波数据，但是在删除数据时报错。这里整理并记录下。进入zookeeper 后，发现这个节点 执行 ls, stat，都会报错。 报错内容 问题原因 客户端单次操作的数据大小，超过了 限制。 解决方案 代码 对于 代码，只需要添加一个System 环境变量即可。 shell 客户端下，可以修改客户端启动脚本
zookeeper C客户端 do_io线程
飞翔的小蟹
03-27 475
void *do_io(void *v){    zhandle_t *zh = (zhandle_t*)v;    fd_set rfds, wfds, efds;    struct adaptor_threads *adaptor_threads = zh->adaptor_priv;    api_prolog(zh);    notify_thread_ready(zh);//通知...
zookeeper集群死亡
wflh323的专栏
09-22 1956
cdh集群zookeeper集群死亡
SpringCloud系列（17）--将服务消费者Consumer注册进Zookeeper
最新发布
m0_64284147的博客
04-26 452
在上一章节中我们把服务提供者Provider注册进了Zookeeper，而本章节则是关于如何将服务消费者Consumer注册进Zookeeper。
docker 集群管理实战mesos+zookeeper+marathon（三）
2301_78677624的博客
04-26 288
https://www.toutiao.com/article/7221354604351537698/?log_from=6b55db495da1d_1681366356776这个教程主要演示部署和使用marathon./start --hostname 192.168.23.101 --master zk://192.168.23.101:2181,192.168.23.102:2181,192.168.23.103:2181/mesos --http_address 0.0.0.0点击Framewor
简述HBase系统架构的客户端，Zookeeper服务器，Master主服务器，Region服务器的作用
06-11
HBase系统的架构包括客户端、Zookeeper服务器、Master主服务器和Region服务器。 1. 客户端：客户端是向HBase系统发送请求的源，通过API和HBase进行交互。客户端向HBase发送读取和写入请求，还可以执行各种操作，如...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值