![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
排查生产问题系列
文章平均质量分 94
吃胖点儿
“学会求知,学会做事,学会共处,学会做人。”致自己共勉 。技术探讨可以加281954986
展开
-
惊悚,单个java进程占用700%的CPU
CPU飙升问题定位的一般步骤是:1.首先通过top指令查看当前占用CPU较高的进程PID;2.查看当前进程消耗资源的线程PID: top -Hp PID3.通过print命令将线程PID转为16进制,根据该16进制值去打印的堆栈日志内查询,查看该线程所驻留的方法位置。4.通过jstack命令,查看栈信息,定位到线程对应的具体代码。5.分析代码解决问题。原创 2024-06-11 15:27:15 · 992 阅读 · 0 评论 -
生产问题系列一次机房停电引发的思考
一次机房停电引发的思考今天早上到公司的时候,接到开发反馈 DEV 环境所有接口都卡,耗时都在一分钟以上,严重影响开发正常工作,然后通过网关的日志定位到原因是因为 kafka 集群不可用(总共 3 个 broker,前一天晚上机房停电导致 leader 节点挂了),导致网关的反爬过滤器里面发送 kafka 消息的代码 kafkaTemplat.send 阻塞了 60s,当时在想这个 send 方法不是异步的吗,为什么会阻塞 60s?于是查阅了一些资料,大致搞清楚了原因,这里稍作整理,分享给可能踩坑或者以及原创 2020-07-05 23:25:45 · 199 阅读 · 0 评论 -
生产的一个问题的通彻思考:Eureka注册中心集群如何实现客户端请求负载及故障转移?
前言先抛一个问题给我聪明的读者,如果你们使用微服务SpringCloud-Netflix进行业务开发,那么线上注册中心肯定也是用了集群部署,问题来了:你了解Eureka注册中心集群如何实现客户端请求负载及故障转移吗?可以先思考一分钟,我希望你能够带着问题来阅读此篇文章,也希望你看完文章后会有所收获!背景前段时间线上Sentry平台报警,多个业务服务在和注册中心交互时,例如续约和注册表增量拉取等都报了Request execution failed with message : Conne原创 2020-07-01 19:54:45 · 255 阅读 · 0 评论 -
JAVA 线上故障排查完整套路!牛掰!
线上故障主要会包括 CPU、磁盘、内存以及网络问题,而大多数故障可能会包含不止一个层面的问题,所以进行排查时候尽量四个方面依次排查一遍。同时例如 jstack、jmap 等工具也是不囿于一个方面的问题的,基本上出问题就是 df、free、top 三连,然后依次 jstack、jmap 伺候,具体问题具体分析即可。CPU一般来讲我们首先会排查 CPU 方面的问题。CPU 异常往往还是比较好定位的。原因包括业务逻辑问题(死循环)、频繁 gc 以及上下文切换过多。而最常见的往往是业务逻辑(或者框架逻辑)导原创 2020-05-11 17:17:45 · 213 阅读 · 0 评论 -
RPC 的超时设置,一不小心就是线上事故!
上面这张监控图,对于服务端的研发同学来说再熟悉不过了。在日常的系统维护中,『服务超时』应该属于监控报警最多的一类问题。尤其在微服务架构下,一次请求可能要经过一条很长的链路,跨多个服务调用后才能返回结果。当服务超时发生时,研发同学往往要抽丝剥茧般去分析自身系统的性能以及依赖服务的性能,这也是为什么服务超时相对于服务出错和服务调用量异常更难调查的原因。这篇文章将通过...原创 2020-05-06 11:36:37 · 140 阅读 · 0 评论 -
线上问题排查手册
一 线上常见问题定位常见问题 1:CPU 利用率高CPU 使用率是衡量系统繁忙程度的重要指标,一般情况下单纯的CPU高并没有问题,它代表系统正在不断的处理我们的任务,但是如果CPU过高,导致任务处理不过来,从而引起 load 高,这个是非常危险需要关注的。CPU使用率的安全值没有一个标准值,取决于你的系统是计算密集型还是IO密集型,一般计算密集型应用CPU...原创 2020-04-27 11:46:53 · 300 阅读 · 0 评论 -
0-一次线上问题排查所引发的思考
前言之前或多或少分享过一些内存模型、对象创建之类的内容,其实大部分人看完都是懵懵懂懂,也不知道这些的实际意义。如:线程执行一个任务迟迟没有返回,应用假死。 接口响应缓慢,甚至请求超时。 CPU 高负载运行。这类问题并不像一个空指针、数组越界这样明显好查,这时就需要刚才提到的内存模型、对象创建、线程等相关知识结合在一起来排查问题了。正好这次借助之前的一次生产问题来聊聊如何...转载 2019-02-24 11:37:37 · 115 阅读 · 0 评论