记一次线上服务器load高问题定位和解决

最新推荐文章于 2024-07-14 21:47:02 发布
最新推荐文章于 2024-07-14 21:47:02 发布
阅读量2.8k 收藏 1
点赞数 2
分类专栏： 问题排查 文章标签： load高 线程 线上问题
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dtlscsl/article/details/79353733
版权
本文记录了一次处理线上服务器load高的过程，通过使用strace工具对进程4529进行跟踪，深入分析线程行为，最终找到问题并解决，确保了服务器稳定运行。
摘要由CSDN通过智能技术生成
1.top 查看load free空间还很大 应该不是GC导致的
分析下面的进程，发现java进程占用了100%的CPU

2.查找java进程下面的哪个线程占用CPU高
ps -ef|grep java 获取PID  4381


top -H -p 4381
通过这个命令发现有一个线程占用了100%的CPU，所以导致load很高，一般占用100%CPU大部分原因是进程阻塞了。下一步跟踪一下这个线程 
线程PID  4529

3.strace追踪线程（root用户才有权限 sudo su 切换）

strace -p 4529

最低0.47元/天 解锁文章
当头冷水
关注
专栏目录
记一次大事务导致的数据库死锁引起线上服务器load飙升的故障
森林里的一天
12-29 1906
一、背景描述 公司业务系统由多个语言开发，核心业务由.net团队支持，数据存储在sqlServer中，为了使用这些数据由JAVA团队在上层做一个数据聚合平台，创建了个职责单一的新应用来做数据转换，同步到底层mysql数据库中，对外提供了一个标准接口由业务方通过定时任务分批同步，支持一次传输多条数据，数据同步策略是每秒6个线程并发同步5条记录，同步失败会在1，2，4s内重试三次 二、故障现场 第一次 故障现象： api层服务异常日志告警，同步数据服务dubbo服务超时5s，但是业务应用中没有任何异常日志，跟业
单机最快的队列Disruptor解析和使用
水妖
09-22 2440
还有更快的吗？？？
jstack命令解析
lixiangchibang的博客
04-25 716
jstack用法 /opt/java8/bin/jstack Usage: jstack [-l] <pid> (to connect to running process) 连接活动线程 jstack -F [-m] [-l] <pid> (to connect to a hung process) 连接阻塞线程 jstack [-m] [-l] <executable> <core> .
Linux的load（负载）
最新发布
weixin_43522117的博客
07-14 568
负载(load)是Linux机器的一个重要指标，直观了反应了机器当前的状态。在Linux系统中，系统负载是对当前CPU工作量的度量，被定义为特定时间间隔内运行队列中的平均线程数。Linux的负载高，主要是由于CPU使用、内存使用、10消耗三部分构成。任意一项使用过多，都将导致服务器负载的急剧攀升。
STORM在线业务实践-集群空闲CPU飙高问题排查（转）
weixin_33958585的博客
12-03 221
最近将公司的在线业务迁移到Storm集群上，上线后遇到低峰期CPU耗费严重的情况。在解决问题的过程中深入了解了storm的内部实现原理，并且解决了一个storm0.9-0.10版本一直存在的严重bug，目前代码已经合并到了storm新版本中，在这篇文章里会介绍这个问题出现的场景、分析思路、解决的方式和一些个人的收获。 背景 首先简单介绍一下Storm，熟悉的同学可以直接跳过这段。 Sto...
Top load average 高如何排查
喝醉酒的小白
05-05 4782
lscpu是一个Linux/Unix命令，用于显示系统的CPU架构信息，包括CPU型号、CPU架构、CPU核心数量、CPU频率、CPU缓存信息等等。输出结果中包括进程的所有信息，包括父进程ID、会话ID、进程组ID、用户ID、CPU占用率、内存占用率、启动时间、命令等信息。该命令会输出系统的CPU架构信息，包括CPU型号、CPU架构、CPU核心数量、CPU频率、CPU缓存信息等等。两者都是用于列出当前运行的进程信息的命令，但是在不同的操作系统中有不同的用法和输出格式。
Java线程分析小结
qq_30436011的博客
10-13 3534
JDK本身提供了很多方便的JVM性能调优监控工具，除了集成式的VisualVM和jConsole外，还有jps、jstack、jmap、jhat、jstat等小巧的工具，另外还有一些商业性的工具，如JProfiler等，相对于这些集成性的工具，在资源消耗方面会比较大，有时候一些线上临时性的需要抓取线程信息和堆信息的情况，这些集成性的工具使用起来就显得不“那么强大和好用了”，这个时候，反而一些简单的命令，可以帮我们解决燃眉之急，也非常简单好用，这次就先简单介绍一下线程相关的知识，以及常用工具的用法，帮助我..
window服务器cpu过高的排查_线上服务器发生CPU占用率过高应该如何排查并定位问题？...
weixin_39608509的博客
12-21 463
国外开发者平台 HankerRank 发布的 2018 年开发者技能调查报告中有一项关于"雇主最看重哪些核心能力"的调查，结果显示如下：排名前几的比较受重视的能力分别为：解决问题、编程语言熟练程度、Debug、系统设计和性能优化。解决问题的能力以超高比例排名第一，这也是为什么很多面试过程中，面试官都喜欢问如下问题：1、你这个项目遇到的最大挑战是什么？如何解决的？2、如果线上发生了报警你回如何排查呢...
MySQL排查篇：该如何定位并解决线上突发的Bug与疑难杂症？
Java_zhujia的博客
11-28 723
前面两章中，聊到了关于数据库性能优化的话题，而本文则再来聊一聊关于MySQL线上排查方面的话题。线上排查、性能优化等内容是面试过程中的“常客”，而对于线上遇到的“疑难杂症”，需要通过理性的思维去分析问题、排查问题、定位问题，最后再着手解决问题，同时，如果解决掉所遇到的问题或瓶颈后，也可以在能力范围之内尝试最优解以及适当考虑拓展性。
一次详尽的问题定位记录：CPU使用率低负载高的排查过程
qianlia的博客
06-02 3402
历史原因，当前有一个服务专门用于处理mq消息，mq使用的阿里云rocketmq，sdk版本1.2.6（2016年）。 随着业务的发展，该应用上的consumer越来越多，接近200+，导致该应用所在的ecs长时间load高，频繁报警。 现象分析 该应用所在的ecs服务器load长期飙高（该ecs上只有一个服务），但cpu、io、内存等资源利用率较低，系统负载参考下图： ECS配置：4核8G 物理cpu个数=4 单个物理CPU中核（core）的个数=1 单核多处理器 在系统负荷方面，多核CPU与多CPU效
如何定位并找出CPU load很高的java线程
伟少的博客
09-21 1089
jvm定位高负载的线程
浅谈高性能无锁并发框架Disruptor
weixin_50205273的博客
09-09 507
Disruptor是一个开源框架，研发的初衷是为了解决高并发下队列锁的问题，最早由LMAX提出并使用，能够在无锁的情况下实现队列的并发操作，并号称能够在一个线程里每秒处理6百万笔订单 目前，包括Apache Storm、Camel、Log4j2在内的很多知名项目都应用了Disruptor以获取高性能 为什么会产生Disruptor框架 「目前Java内置队列保证线程安全的方式：」 ArrayBlockingQueue：基于数组形式的队列，通过加锁的方式，来保证多线程情况下数据的安全； Linked
架构师入门笔记八 并发框架Disruptor场景应用
热门推荐
ITDragon博客
09-09 1万+
架构师入门笔记八 并发框架Disruptor场景应用 今天用一个停车场问题来加深对Disruptor的理解。一个有关汽车进入停车场的问题。当汽车进入停车场时，系统首先会记录汽车信息。同时也会发送消息到其他系统处理相关业务，最后发送短信通知车主收费开始。看了很多文章，里面的代码都是大同小异的，可能代码真的是很经典。以下代码也是来源网络，只是自己手动敲的，加了一些注释。 代码包含以下内容：
Disruptor 3种EventProcessor实现类
zbz0425的专栏
07-10 5360
BatchEventProcessor 一个消费者处理对象 表示一个消费者.     //获取下一个消费下标位置    long nextSequence = sequence.get() + 1L;    //一直检查获取可以消费的产品位置. while (true)             {                 try                 {
Disruptor核心（五） EventProcessor & WorkProcessor
乌鲁木齐001号程序员
04-02 1261
Event 从生产者到消费者过程中所处理的数据单元； 在Disruptor框架中没有类表示Event，因为它完全是由用户定义的，在Disruptor框架中是用泛型表示的； com.lmax.disruptor.EventProcessor 继承自java.lang.Runnable接口； 主要用于事件的循环，处理Disruptor中的Event，拥有...
springboot打包成war，由于log4j2 starter使用不当而引发的memory leak排查解决
士兵76的博客
06-29 5596
背景公司有个springboot项目，需要打包成war发布到tomcat，无意间看了一验tomcat日志，发现在shutdown过程中有一些异常信息，如下：27-Jun-2018 08:46:42.332 WARNING [mainApp.com-startStop-2] org.apache.catalina.loader.WebappClassLoaderBase.clearReference...
java amp 0xff6_Java服务器-Disruptor使用注意
weixin_42298760的博客
03-04 140
最近看了一下部署游戏后台的服务器状况，发现我的一个Java程序其占用的CPU时长超过100%，排查后发现竟是Disruptor引起的，让我们来看看究竟为什么Disruptor会有这样的表现。发现占用CPU时间超过100%的进程首先是在服务器上用top命令查看服务器状态，发现有一个应用程序占用的CPU时长超过100%，如图：我根据进程号查了一下，发现是我的一个Java游戏后台服务，有一个CPU几乎被...
故障排查——负载Load过高（1）
weigeshikebi的博客
03-04 4163
Linux-top, vmstat load
MySQL服务器LOAD飙高：原因与解决策略
以下是可能导致LOAD飙高的五种情况及相应的解决策略： 1. 全表扫描的SQL语句 全表扫描会导致I/O密集型操作，占用大量CPU和磁盘资源。优化方法包括创建合适的索引、重新编写SQL语句以减少扫描行数，或者调整查询策略...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值