记一次springboot+dubbo+zookeeper cpu过高排查经历

最新推荐文章于 2024-06-19 23:52:35 发布
最新推荐文章于 2024-06-19 23:52:35 发布
阅读量1.4k 收藏 2
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41901420/article/details/114297357
版权
本文记录了一次由于Dubbo的curator库版本不一致导致的CPU过高问题的排查过程。项目中使用Eureka作为注册中心，Zookeeper作为Dubbo协调工具。通过jstack和processExplorer分析，发现高CPU占用与Dubbo相关线程有关。最终解决方案是统一curator-framework和curator-recipes库到4.0.1版本，解决了年轻代Eden区的内存问题。
摘要由CSDN通过智能技术生成
项目结构

在这里插入图片描述
OtseaMaster为Eureka注册中心
OtseaUser为dubbo的provider 模块的spring服务运行在8101端口，dubbo provider运行在20880端口
OtseaContent为dubbo的consumer
使用Zookeeper做为dubbo的协调工具

使用机器为Sindows
cpu：i7-6500u
内存：8g

cpu表现

三个模块跑起来后cpu开始跑满，打开任务管理器发现dubbo的两个模块和zookeeper的进程占用了大部分的cpu，同时两个模块占用的内存较高。
在这里插入图片描述

排查方案

怀疑是某个线程或gc的问题，使用jstack打印堆栈信息，jstack的大致语法为：

在控制台打印：jstack -l pid
输出到文件：jstack -l pid > test.stack在这里插入图片描述

得到堆栈信息之后开始找到占用cpu过高的线程，使用processExplorer进行线程分析

最低0.47元/天 解锁文章
乌鸦坐飞机亠
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【微服务】springboot整合skywalking使用详解
congge
12-31 1万+
springboot整合skywalking
记一次Dubbo超时&CPU高负载问题排查
jiajun2905的博客
05-04 2138
记一次Dubbo超时&CPU高负载问题排查 1.问题背景 最近经常有同事反馈我们灰度环境老的交易系统，这里简称trade，dubbo消费者调用其他服务超时，因为该项目维护人员众多，加上灰度环境发布较多，一直没有排查，然后五一前再次有同事反馈这个问题，刚好有空就准备分析一下引起超时的原因。 2.问题排查 2-1 问题描述 大量Dubbo服务调用超时 2-2 问题排查 查看日志（上图）发现du...
zookeeper因内存不足造成的CPU占用率高
wangjun825的博客
12-22 3508
Clickhouse出现建表非常慢的现象。去服务器上看到zookeeper有两个节点的CPU占用率达到50%以上，而另一个节点CPU占用正常。试图用zcCli登录zk失败“Unable to read additional data from server sessionid”，zkServer status也报错“Error contacting service. It is probably not running”，说无法连接。Netstat –anp看2181端口是在监听，不过地址看着是ipv6。怀
springboot应用cpu飙升的原因排除
最新发布
wppwpp1的专栏
06-19 1011
1、通过top或者jps命令查到是那个java进程， top可以看全局那个进程耗cpu，而jps则默认是java最耗cpu的，比如找到进程是196。5、发现196进程里的线程id：590是最耗cpu的，可以使用linux命令直接kill掉，杀死线程命令是 两个 --4、查询jstack.log相关的 ，pid为 590的值，可以查看堆栈信息，找到具体的业务代码。2、根据第一步获取的进程号，查询进程里那个线程最占用cpu，发现590消耗最多。1.1 top (推荐)或者jps命令均可。
使用Ubuntu安装zookeeper cpu使用99% 卡死问题
记录日常疑问
06-23 483
Socket error Event: 32 Error: 10053. Connection closing...Socket close.Con
修复windows环境zookeeper服务器重启有可能会导致客户端CPU占用率100%的问题
伯诚的Blog
08-01 3683
在项目中规划使用到了zookeeper当做分布式锁和服务器间session共享，在预研的过程中有个问题，当使用zookeeper提供客户端API连接上zookeeper服务器之后，将zookeeper服务器直接关闭有可能会导致客户端CPU占用率达到满负荷，所以就单步调试跟了进去，发现问题出处在mt_adaptor.c的425行上。 函数代码清单： #ifdef WIN32 unsigned _
springboot运行一段时间cpu过高
wangyf1129的博客
09-12 907
3. 找出最高占用的线程并记录thread_id， 把线程号换算成16进制编号：printf "%X\n"【thread_id】4. 查看高负载线程并找到具体方法： jstack 【进程】|grep 【线程】 -a 100(打印100行)5. 也可以导出进程的堆栈日志：jstack 【线程号】 > /home/test.log。2. 查看高负载进程下的高负载线程：top -Hp 【pid】1. top命令找出最高占用的进程ID。可使用jdk自带的工具jstack。
记一次 Java 服务性能优化
m0_67322837的博客
08-10 408
近两周的排查和梳理中，发现并解决了多个性能瓶颈，修改了系统熔断方案，最终实现了服务能处理的 QPS 翻倍，能实现在极高 QPS（3-4倍）压力下服务正常熔断，且能在压力降低后迅速恢复正常，以下是部分问题的排查和解决过程。答案就是会使用上面的那段”奇怪”代码，先创建一个空的 ApiContext 类，并将所有的传入参数依次尝试 set 进这个类，如果 set 失败了，就 catch 住异常继续执行，而 set 成功后，就完成了 ApiContext 类内一个属性的参数绑定。...
分布式中间件之Dubbo详解
tdd18792032806的博客
07-29 3508
文章内容输出来源：拉勾教育Java高薪训练营 心得体会： 在拉勾教育高薪训练营里经过三个月多的学习，很辛苦但也收获很多，主要体现在：1.以前是工作遇到了哪方面的问题才去学习并解决，很难形成知识体系，在拉勾高薪训练营里课程内容很丰富，基础回顾加进阶讲解，完美的打造了个人的知识体系，为成为一名合格的架构师奠定了基础；2.值得一说的是“闯关式”的学习模式，若上一个模块的作业未完成就无法学习下一个模块，但有班主任和导师对个人的学习进行督促，可以让我们学员必须牢靠的掌握技术知识点；3.在知识点技术落地方面，以前只是听
BAT 大厂Java 面试题集锦之核心篇附参考答案
热门推荐
程序员光剑
11-05 1万+
核心篇数据结构与算法网路:TCP/IP,HTTP操作系统, 文件, shell, CPU, IO, epoll, 非阻塞IO,进程/线程/协程,锁HashMap, Co...
springboot应用，cpu高、内存高问题排查
qq_39839075的博客
12-13 4124
回顾一下整个排查过程,有几个点说一下1)、写方法一定要注意动态的情况,比如此例中,数据后期增长的情况,不能只考虑当时的数据。2)、有个疑问,就算对象不可达了,正常来说也可以从MAT里看到点相关东西才对,但是翻了很久,啥也没看到,MAT的使用还要再看看,感觉是遗漏了细节3)、还有个疑问,虽然对象确实很大,但是可以回收,那rancher上看到的内存为啥还会这么高呢?这也是一个疑问点,需要找时间了解一下rancher。
java springboot项目 linux生产环境cpu/cpu100%飙升问题排查
qq_43145676的博客
01-25 1032
第二步：ps H -eo pid,tid,%cpu |grep 5970 查看进程对应的线程。这里的cn.waycube.property实现类对应433行就是代码出问题的地方。2: ps H -eo pid,tid,%cpu |grep 进程id。第三步：printf ‘0x%x\n’ 20507 获取十六进制线程。参考 https://v.douyin.com/iL4gS6Xm/4:jstack 进程id|grep 16进制线程id -A 20。3：printf ‘0x%x\n’ 线程id。
一次生产环境CPU占用高的排查
weixin_50205273的博客
02-11 281
甲方是保密级别非常高的政府部门。所以我们全程拿不到任何测试数据，只能是自己模拟数据进行测试。 项目部署的时候，公司派了一人到甲方现场，在甲方客户全程监督下，进行部署，调试，导入数据等工作。因为前期看不到真实的数据，所以很多功能都是凭客户口述进行，到了现场难免发现问题。 这时需要改动代码重新打包部署，需要客户特制U盘需入密码才能传到内网。总之，非常麻烦。 如果有什么BUG，全靠同事口述。如果是功能性的什么BUG还好，沟通虽然困难，大体都能很快解决。
springboot内存占用过高问题排查 - jvm内存使用分析
XiXavier的博客
10-27 1万+
排查springboot内存占用过高问题 所需命令： ps命令：Linux命令。强大的进程状态监控命令。可以查看进程以及进程中线程的当前CPU使用情况。属于当前状态的采样数据。 top命令：Linux命令。可以查看实时的CPU使用情况。也可以查看最近一段时间的CPU使用情况。 这两个命令详情可参考：https://blog.csdn.net/XiXavier/article/details/108566416 jps命令 :(Java Virtual Machine Process Status Tool)
springboot性能优化问题
manchengpiaoxue的博客
03-05 2413
@SpringbootApplicatioon缺点 答：它等同于@Configuration+@EnableAutoConfiguration+@ComponentScan，它扫包的核心是扫描同级包，会将下图 里面包含的controller，entity，mapper，service等进行全部扫描，采用递归遍历包下的子类，这样会影响项目启动的时间； 会加载一些不需要的多余的实例（beans）...
小林求职记（六）踩过Dubbo坑，回答印象深，干货整理
Java知音
08-24 277
小林求职记系列文章，归置到公众号菜单栏，欢迎查看历史篇前传小林求职记（五）上来就一连串的分布式缓存提问，我有点上头....终于，在小林的努力下，获得了王哥公司那边的offer，但是因...
表象：zookeeper因内存使用率导致的集群不可用
shuaisunny的专栏
08-11 1476
线上突然告警，zk集群不可用。随机看了zk节点挂了前的的机器的CPU与内存，内存100%，如下图所示。 首先我看了日志，由于线上配置的问题，所有的日志全部扔掉了。基于日志没有发现有价值的内容，接着又看了节点的网络，TCP连接数，磁盘IO，线程数，这些都是在正常范围内。 接着想着尝试启动一个节点，启动成功。但是通过top命令查看zk线程CPU利用率在30%左右，在正常情况下zk一般不耗内存（除非异常了）。 下面是最耗CPU的堆栈信...
SpringBoot 2.1.6 + Dubbo 2.7.5 + Zookeeper 整合实战
"该资源是一个基于SpringBoot 2.1.6版本与Apache Dubbo 2.7.5以及Zookeeper集成的示例项目。项目作者提供了GitHub仓库链接（https://github.com/bestksl/DubboDemo02），方便用户查看和下载。项目中的依赖管理主要...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值