一次线上的GC问题排查

最新推荐文章于 2024-03-04 08:43:42 发布
VIP文章 最新推荐文章于 2024-03-04 08:43:42 发布
阅读量2.1k 收藏 1
点赞数 1
分类专栏： java基础 JVM 并发编程 文章标签： java GC 高并发
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tangkund3218/article/details/51753243
版权

6.19号下午 线上系统出现了一次实时链路数据 不通畅的问题, 业务方反应更新的增量数据没有流入到HA3搜索集群
登录机器后检查日志后发现，在周六晚上到周天下午,cr_search_merge(机器人schema统一)表增量数据猛增,初步估计瞬间压在DRC-reader上的数据达百万级别的量
DRC-reader 应用会不间断的报 :

blob.png

和 下面的错误：

blob.png

这2个错误都是之前未曾出现过的错误。

尝试重启应用后,隔几分钟后出现相同的错.

线上 DRC-reader 的原理如下图: 

最低0.47元/天 解锁文章
凤凰小兵
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Java线上故障排查方案.pdf
01-27
Java常⻅线上问题总结以及排查方案
解决启动FULL GC问题
jiangdong159的专栏
09-22 403
解决因Metaspace未设置导致的启动FULL GC问题
【JVM技术专题】GC问题分析和故障排查规划指南「实战篇」
世界上并没有完美的程序，但是我们并不因此而沮丧，因为写程序就是一个不断追求完美的过程。
11-07 567
之前的JVM专题总共大致近50章节，问题介绍相关的JVM的原理分析，比较接近于理论化，并且也穿插这相关的GC问题排查和调优的技术功能实现，但是很多小伙伴都建议我多针对于实际优化角度和故障排查而言，进行相关的分析和总结，所以有了目前的【线上解决方案系列】希望大家会喜欢！
高并发下Java程序的GC问题排查，看这篇文章准没错
最新发布
m0_61549591的博客
03-04 770
综上所述，在分布式系统中，缓存和数据库同时存在时，如果有写操作的时候，「先操作数据库，再操作缓存」。1.读取缓存中是否有相关数据2.如果缓存中有相关数据value，则返回3.如果缓存中没有相关数据，则从数据库读取相关数《一线大厂Java面试题解析+后端开发学习笔记+最新架构讲解视频+实战项目源码讲义》浏览器打开。
记一次日志输出大对象导致频繁FullGC问题
无名丶任性
04-07 2243
在性能测试过程中，发现有一个交易在5个并发的情况下单机单jvm的时候交易响应时间变长，由于该交易外调了3个系统，所以刚开始是怀疑其他系统的响应时间变长了，但是通过日志分析，发现其他系统响应时间基本稳定，所以排除其他系统的问题，后来通过jstat查看jvm垃圾回收信息原来是频繁fullGC导致的交易响应时间变长，记录一下本次问题排查的过程： 通过以下命令查看jvm垃圾回收的统计信息： jstat -gcutil PID 1s 意思是查看java进程为PID 的jvm每1s中的垃圾回收信息，通过这个命令看到
JVM GC问题排查(多数是内存泄漏导致)
commonBean的专栏
09-20 492
原文地址YGC问题排查，又让我涨姿势了！ 主要内容： 超时量突然大面积增加，1分钟内甚至达到了上千次接口超时。 收到告警后，我们第一时间查看了监控系统，立马发现了YoungGC耗时过长的异常。 通过下图可以看出：在上线之前，YGC基本几十毫秒内完成，而上线后YGC耗时明显变长，最长甚至达到了3秒多。 由于YGC期间程序会Stop The World，而我们上游系统设置的服务超时时间都在几百毫秒，因此推断：是因为YGC耗时过长引发了服务大面积超时。 我们立刻摘掉了一个节点，然后通过以下命令dump了堆内存
记录线上服务频繁full gc问题排查
刘子帆的博客
07-23 1593
排查gc思路、方法论、过程 由于1-4的步骤通常可以让运维去执行，目前公司生产则一律由运维管理，所以直接找运维dump堆内存文件即可 1、检查JVM配置 2、观察监控信息中老年代内存变化 3、通过jmap命令查看堆内存中的对象 通过命令 jmap -histo 7276 | head -n20 图片是借助网图，因生产没权限只有运维来执行
线上adplatform集群机器cpu飙升问题排查总结.docx
12-23
线上adplatform集群机器cpu、内存飙升问题排查总结，很好的一次线上JVM、FullGc排查经验。
JAVA 线上故障排查完整套路，从 CPU、磁盘、内存、网络、GC 一条龙！.docx
03-23
JAVA 线上故障排查完整套路，从 CPU、磁盘、内存、网络、GC 一条龙！.docx
Java线上监控 软件包
01-08
一款线上监控诊断产品，通过全局视角实时查看应用 load、内存、gc、线程的状态信息，并能在不修改应用代码的情况下，对业务问题进行诊断，包括查看方法调用的出入参、异常，监测方法执行耗时，类加载信息等，大大...
【MySQL面试第二弹】MySQL 服务占用cpu 100%，如何排查问题?
12-21
对于互联网公司，线上CPU飙升的问题很常见（例如某个活动开始，流量突然飙升时），按照本文的步骤排查，基本1分钟即可搞定！特此整理排查方法一篇，供大家参考讨论提高。 二、问题复现 线上系统突然运行缓慢，CPU...
排查一次GC问题
u014783007的博客
03-28 1128
GC问题的排查有两个方面的入手点 （1）排查GC问题的关键还是搞清楚内存到底被什么东西占用着，什么东西没有释放，内存是怎么分布的。 （2）同时GC是一个动态的过程，又要结合代码的运行过程，去判断什么到底什么情况下会出现问题，并最终得到修改问题的地方 如果你熟悉代码，那么GC过程理应是白盒，那么相对而言，你发现问题的过程很大程度上是围绕第一点去做，也更快速 如果你不熟悉代码，那么GC过程就是黑盒，那么你的过程最好还是从（1）到（2），先搞清楚内从里的内容，再去考虑代码中有可能出现问题的点，再结合运行时
系统GC问题排查方法总结
Darlight的博客
07-17 2752
一文教你如何解决系统out of memory问题
记一次艰难的GC问题排查！
BASK2311的博客
01-11 377
经过这次排查的经验来看，遇到GC问题尤其是那种比较不常见的，真的是非常难搞，你可能需要对这个问题进行系统的学习，以及大量的查找资料才能找到原因，我在排查这个问题的时候掉了不少头发。在这里记录一下这个经验，希望对大家以后的一些排查能有帮助。作者：咖啡拿铁原文链接：https://juejin.cn/post/6961597031060078605。
Java中9种常见的CMS GC问题分析与解决
weixin_42073629的博客
03-04 659
1.1 引言 自 Sun 发布 Java 语言以来，开始使用 GC 技术来进行内存自动管理，避免了手动管理带来的悬挂指针（Dangling Pointer）问题，很大程度上提升了开发效率，从此 GC 技术也一举成名。GC 有着非常悠久的历史，1960 年有着“Lisp 之父”和“人工智能之父”之称的 John McCarthy 就在论文中发布了 GC 算法，60 年以来， GC 技术的发展也突飞猛进，但不管是多么前沿的收集器也都是基于三种基本算法的组合或应用，也就是说 GC 要解决的根本问题这么多年...
频繁GC引起卡顿问题排查与解决
Keep learing, and stay fast
04-23 2047
本问题是因为开发提交了几行未经测试的代码引起， 此代码直接引起内存泄露，系统频繁GC。这也是提交未测试代码引起故障的典型案例
详细解析一次JVM GC长暂停的排查过程
wdj_yyds的博客
04-25 436
综上，我们得出结论，swap和GC同一时候发生会导致GC时间非常长，JVM严重卡顿，极端的情况下会导致服务崩溃。主要原因是：JVM进行GC时，需要对对应堆分区的已用内存进行遍历，假如GC的时候，有堆的一部分内容被交换到swap中，遍历到这部分的时候就须要将其交换回内存；更极端情况同一时刻因为内存空间不足，就需要把内存中堆的另外一部分换到SWAP中去，于是在遍历堆分区的过程中，会把整个堆分区轮流往SWAP写一遍，导致GC时间超长。
GC问题排查实战一
王伟王胖胖的博客
03-06 905
GC问题排查实战一前言GC信息参数配置信息gceasy分析内存使用GC时间指标交互图信息GC之后的堆情况分析GC过程的持续时间分析GC暂停时间分析缺失的数据问题回收的容量分析 前言 最近在进行GC的相关调优和问题排查，进行了一个全用例的场景压测，可以抽象为5W用户连接，500QPS并发，然后持续大致24个小时。随后进行一些分析，并找出其中可能存在的问题，以及可以优化的方向。 GC信息 参数配置信息 -Xms12G -Xmx12G -Xmn4G -XX:MetaspaceSize=300M -XX:Surv
线上系统GC问题如何快速定位与分析?
04-19
针对线上系统GC问题，可以使用一些工具进行分析，如GC日志分析工具、堆转储快照分析工具、线程分析工具等。通过这些工具可以快速定位到GC问题所在，并进行分析和解决。同时也可以对线上系统进行性能和压力测试，以及...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值