gc实战分析

已于 2024-03-11 10:04:35 修改
阅读量191 收藏
点赞数 3
文章标签： java jvm
于 2024-03-08 10:23:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35270686/article/details/136554835
版权

事件描述
3.1号凌晨1点，生成服务器出现fullgc告警，持续1小时

内存分析

在这里插入图片描述
在这里插入图片描述

引起原因
1点运行了凭证冲销的定时任务，定时任务是mapreduce类型，每次并发度5.其中查询凭证行会查询大量的数据，最大一台机器单次约21w+条数据。

jvm启动参数
-server -Xms4g -Xmx4g -Xmn2g -XX:+UseG1GC -XX:G1HeapRegionSize=8m -XX:+G1BarrierSkipDCQ -XX:SurvivorRatio=10 -XX:+ExplicitGCInvokesConcurrent -Dsun.rmi.dgc.server.gcInterval=2592000000 -Dsun.rmi.dgc.client.gcInterval=2592000000 -XX:ParallelGCThreads=2 -XX:+UseStringDeduplication -XX:MetaspaceSize=256m -XX:MaxMetaspaceSize=512m -Xlog:gc*:/home/admin/logs/gc.log:time -Xlog:age*=trace:/home/admin/logs/gc.log:time -XX:ReservedCodeCacheSize=256m -XX:MaxDirectMemorySize=1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/home/admin/logs/java.hprof -XX:ErrorFile=/home/admin/logs/hs_err_pid%p.log -XX:+ParallelRefProcEnabled -Djava.awt.headless=true -Dsun.net.client.defaultConnectTimeout=10000 -Dsun.net.client.defaultReadTimeout=30000 -DJM.LOG.PATH=/home/admin/logs-DJM.SNAPSHOT.PATH=/home/admin/snapshots -Dfile.encoding=UTF-8 -Dhsf.publish.delayed=true -DlimitTime=100 -Dproject.name=cf-finance -Dpandora.boot.wait=true -Dlog4j.defaultInitOverride=true -Dserver.port=7001 -Dmanagement.port=7002 -Dmanagement.server.port=7002 -Dahas.agw.type=2 -Dpandora.fast.classloader=true --patch-module jdk.unsupported=/home/admin/cf-finance/target/cf-finance/BOOT-INF/lib/jdk-patch-jdk.unsupported-0.3.1.jar -Dpandora.location=/home/admin/cf-finance/target/taobao-hsf.sar -classpath /home/admin/cf-finance/target/cf-finance -Dapp.location=/home/admin/cf-finance/target/cf-finance -Djava.endorsed.dirs= -Djava.io.tmpdir=/home/admin/cf-finance/.default/temp com.taobao.pandora.boot.loader.SarLauncher

分析
1点-1.07分出现了大批量gc，期间eden区数据直接接近0M，推测该期间出现了stw，并且stw线程只有2个，所以导致整个gc时间被拉长，触发了fullgc告警（该告警触发机制是gc时长超过300MM即告警）,实时上gc日志也反应了这一点，标记耗时很高。

在这里插入图片描述
在这里插入图片描述

why
为什么 -Xmx4g，明显太小了不合理。系统有8g内存为啥只给4g？
该调度任务并发度为1，治标不治本，只是减少了一台机器同时处理的数据量，迟早有一天会被打爆。
综管的本地缓存需要治理。
冲销逻辑存在隐患，adb无事务，一旦冲销过程中出现中断，再次冲销凭证行会出现重复问题（不要以半夜不会重启为借口，机器很脆弱）。

川成先生
关注
  • 3
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
学习tomcat的内存泄漏
02-18
Tomcat内存泄漏定位实战 verbosegc，将GC输出到gc.log文件中 java -verbose：gc -Xloggc：gc.log -XX：+ PrintGCDetails -jar Learn-tomcat-memory-leak-0.0.1-SNAPSHOT.jar 使用jstat命令观察GC的过程 jstat -gc 94223 2000 1000 通过GCViewer工具查看GC日志 为了找到内存泄漏点，我们通过jmap工具生成Heap Dump jmap -dump：live，format = b，file = 94223.bin 94223 用Eclipse Memory Analyzer：转储文件，通过内存泄漏分析，得到这样一个分析报告
5G网络安全解决方案.pptx
06-07
5G网络安全解决方案 5G网络安全解决方案全文共14页，当前为第1页。 目录 1 5G面临的新威胁 2 5G安全防护思路 Contents 3 5G给网络安全带来的新机遇 5G网络安全解决方案全文共14页，当前为第2页。 5G时代来了 2019年6月6日，工信部正式向中国电信、中国移动、中国联通、中国广电发放5G商用牌照，标志着中国正式进入5G时代。 截至今年4月底，电信和联通共建共享已建设基站10万个，已开通5G服务的城市达到50多个。中国电信5G套餐用户累计达到2170万户。 工信部日前印发《关于推动5G加快发展的通知》，要求进一步加快5G网络建设部署、丰富5G技术应用场景、促进新型信息消费等。其中尤其提到要着力构建5G安全保障体系，加强5G网络基础设施安全保障，强化5G网络数据安全保护，培育5G网络安全产业生态。 5G网络安全解决方案全文共14页，当前为第3页。 智能家居 智能园区 智能电网 智能市场 AR购物 VR游戏 实景导游 VR监控 工业制造 自动驾驶 远程医疗 远程协作 eMBB mMTC uRLLC 增强移动宽带（eMBB）场景： 数据速率较4G增加10倍以上 超大流量对安全防护手段的挑战 超高可靠低时延（uRLLC）场景： 复杂安全措施导致时延增加 安全阻断机制导致业务可靠性受影响 海量机器类通信（mMTC）场景： 海量物联网终端易被攻击 超大规模僵尸网络对安全的挑战 5G的业务场景及其安全 5G网络安全解决方案全文共14页，当前为第4页。 5G网络架构面临的安全威胁 5G网络安全解决方案全文共14页，当前为第5页。 目录 1 5G面临的新威胁 2 5G安全防护思路 Contents 3 5G给网络安全带来的新机遇 5G网络安全解决方案全文共14页，当前为第6页。 5GC安全对标等保2.0 三级要求，高标准实施安全区域边界、安全计算环境和通信网络要求，以防火墙、IPS、全流量检测等传统技术手段，并结合安全资源池化、安全能力原子化等手段，通过安全功能编排和自动化部署，实现安全能力协同管理、按需灵活部署，满足动态、差异化安全需求 5G安全总体思路 5G网络安全解决方案全文共14页，当前为第7页。 云网安全 软硬件冗余、高可靠组网、容灾备份等要求 平面隔离、资源隔离以及安全域划分 防火墙、入侵检测等安全监测和防护能力 安全设备、5G资产等安全管理能力 通信安全： 用户、服务、设备等接入安全 共建共享导致的数据安全、边界策略等风险 信令通信加密以及隔离 能力开放导致的安全风险 通信安全 接入安全 信令安全 高可靠与可用性 安全域与隔离 能力开放安全 安全管理 安全监管 安全 管理 能力 安全检测与防护能力 共建共享安全 云网安全 5G安全总体机制 5G网络安全解决方案全文共14页，当前为第8页。 平台功能： 安全资产清点 安全黑盒检测 安全白盒检测 威胁关联分析 闭环安全处置 采集数据： 资产、漏洞、威胁、 日志、配置 平台架构： 安全对象层 数据采集层 功能实现层 数据发布层 资产核查 态势感知 安全评估 作业计划 ….. 资产管理 漏洞管理 风险分析 异常告警 维护作业 安全处置 采集管理 任务管理 接口管理 外部数据 基础数据 安全数据 主机 应用场景 安全资产 数据采集 数据处理 功能实现 …… 虚拟机 网络设备 安全设备 存储 主机 设备网管 电子工单 5GC网管 5G安全管理能力实现 5G网络安全解决方案全文共14页，当前为第9页。 如何衔接"知与行" 现网架构是否存在安全缺陷？ 设备入网前如何与安全设备磨合？ 安全规范实施前如何验证安全性和合理性？ 多家厂商的设备如何配合协同？ 如何实现安全、运维、建设等人员的协同？ 怎么去验证安全监测防护体系的有效性？ 在中国电信集团公司指导下，由浙江公司牵头，联合广州研究院、华信设计院，建设5G攻防靶场，全集团专业人员组成众测队伍。 5G网络安全解决方案全文共14页，当前为第10页。 通过实战环境验证5G安全防护措施 测试网络安全配置规范和防护策略 验证网络安全监测、防护体系的有效性 对自动化安全维护手段进行安全性验证 5GC接入与测试环境 5GC环境 天翼云 互联网 网络平行空间 部署网络平行空间安全测试平台，在内部增加部署5G CPE和gNB设备，连通5GC测试环境。操作人员通过VPN接入平行空间平台，利用平台仿真服务器连接5GC接入区进而访问5GC测试环境 部署意义 部署方案 5G网络平行空间靶场方案 5G网络安全解决方案全文共14页，当前为第11页。 目录 1 5G面临的新威胁 2 5G安全防护思路 Contents 3 5G给网络安全带来的新机遇 5G网络安全解决方案全文共14页，当前为第12页。 等保 防勒索 保障 NGFW NGFW NGFW 日志分
大数据测试——精选推荐.pdf
12-24
⼤数据测试 ⼤数据测试 什么是⼤数据 什么是⼤数据 ⼤数据是指⽆法在⼀定时间范围内⽤传统的计算机技术进⾏处理的海量数据集。 对于⼤数据的测试则需要不同的⼯具、技术、框架来进⾏处理。 ⼤数据的体量⼤、多样化和⾼速处理所涉及的数据⽣成、存储、检索和分析使得⼤数据⼯程师需要掌握极其⾼的技术功底。 需要你学习掌握更多的⼤数据技术、Hadoop、Mapreduce等等技术。 ⼤数据测试策略 ⼤数据测试策略 ⼤数据应⽤程序的测试更多的是去验证其数据处理⽽不是验证其单⼀的功能特⾊。 当然在⼤数据测试时，功能测试和性能测试是同样很关键的。 对于⼤数据测试⼯程师⽽⾔，如何⾼效正确的验证经过⼤数据⼯具/框架成功处理过的⾄少百万兆字节的数据将会是⼀个巨⼤的挑战。 因为⼤数据⾼效的处理测试速度，它要求测软件⼯程师具备⾼⽔平的测试技术才能应对⼤数据测试。 我们来看下⼤数据处理的三个特性： ⼤批量 实时性 可交互 另外，数据质量也同样是⼤数据测试的⼀个重要维度。 因此在进⾏应⽤程序测试之前，必须确保数据质量，并且考虑把数据质量作为数据库测试的⼀部分。涉及数据的各种特性的检验，例如⼀致性、准确性、重复 性、连贯性、有效性及完整性等等。 ⼤数据应⽤测试步骤 ⼤数据应⽤测试步骤 下⾯我们⼀起看看⼤数据应⽤的测试过程是怎么样的。 整体⽽⾔，⼤数据测试⼤体可以分为三⼤步骤： 步骤⼀，数据预处理验证 在进⾏⼤数据测试时，⾸先要预hadoop前验证数据的准确性等等。 1. 我们数据来源可能是关系数据库、⽇志系统、社交⽹络等等，所以我们应该确保数据能正确的加载到系统中 2. 我们要验证加载的数据和源数据是⼀致的 3. 我们要确保正确的提取和加载数据⾄hdfs中 步骤⼆，Map Reduce验证 在进⾏⼤数据测试时，第⼆个关键步骤是"Map Reduce"验证。在本阶段，我们主要验证每⼀个处理节点的业务逻辑是否正确， 并验证在多个运⾏后，确保： 1. Map Reduce过程⼯作正常 2. 数据聚合、分离规则已经实现 3. 数据key-value关系已正确⽣成 4. 验证经过map reduce后数据的准确性等特性 步骤三，结果验证 在本阶段主要验证在经过⼤数据⼯具/框架处理后，⽣成的最终数据的成果。 主要验证： 1. 验证数据转换规则是否正确应⽤ 2. 验证数据的完整性和是否成功持久化到⽬标系统 3. 验证⽆数据损坏 架构测试 架构测试 Hadoop处理海量数据是⾮常的消耗资源的，良好的架构是确保⼤数据项⽬成功的基础。糟糕的涉及会导致性能急剧的下降，进⽽使得系统⽆法满⾜我们的需 要，因此我们需要，或是说⾄少在Hadoop环境下进⾏性能测试、故障恢复测试，以应改进效率和应对可能的最糟糕的情况。 性能测试是⼀个复杂的⼯作，它贯穿整个测试周期，需要关注内存、CPU、⽹络等等指标。 故障恢复测试则是验证数据处理过程中可能出现的故障，为做好意外的恢复做好相应的应对措施。 性能测试 性能测试 ⼤数据性能测试主要包含以下⼏个部分： 数据提取、存储效率 在本阶段，我们主要验证⼤数据应⽤从源数据中提取、加载数据的效率。 ⼀是验证单位时间内数据的提取、加 载效率。 ⼆是验证数据持久化⾄mongodb等库的效率等等 数据处理 在本阶段，我们验证map reduce任务的执⾏效率，重点关注的是数据处理的效率。当然这个过程可能也会涉及到数据的持久化相关指标，例如存储⾄HDFS读 写效率等等，同样也会涉及在内存中处理效率，即我们的处理算法效率等等 ⼦组件性能 ⼤数据处理，⼀般都会需要综合利⽤各种组件来辅助处理，所以我们也是需要关注这些辅助组件的性能 性能测试策略 性能测试策略 ⼤数据应⽤性能测试涉及海量的结构化和⾮结构化的数据，与我们平时所⾯对的业务系统有所不同，所以我们需要针对⼤数据应⽤制定特定的测试策略，以应对 海量的数据。 根据上图性能测试执⾏过程⼀般是这样的： 1. 在性能测试前需要先初始化⼤数据集群环境 2. 梳理和设计⼤数据性能测试场景 3. 准备⼤数据性能测试脚本 4. 执⾏并分析测试结果（如果指标异常，则调优相应的组件并重新测试） 5. 优化配置 性能测试基础准备 性能测试基础准备 在⼤数据性能测试时，需要准备相关的基础⼯作，如下： 数据准备，我们需要在不同的节点准备什么量级数据？ ⽇志预估，在测试过程中，可能会⽣成多⼤的⽇志，⽇志的可能增量是什么样的？ 并发，在测试时，可能会有多少线程并发读和写？ 超时设置，应对设置怎样的连接超时？查询超时？写超时等等？ JVM参数，如何设置最优的jvm参数，heap size、GC机制等等 Map Reduce，我们应该选择什么样的sort、merge等算法？ 消息队列，消息队列长度会怎么样？等等 必备的测试环境 必备的测试环境 ⼤数据测试不同
记一次MAT内存分析
01-03
1、背景 记录一次内存分析的简单实践，目的是找出占用内存较大的对象和无效的内存分配 2、工具 2.1、 DDMS或者Android Studio DDMS：抓取内存快照 Android Studio的Profiler：抓取内存快照并分析（支持android 5.0以上） 2.2、 MAT（Memory Analyzer） 内存快照文件分析工具 3、步骤 3.1、 抓取内存快照 DDMS支持5.0以下的系统，以DDMS为例。 选择目标apk，并抓取内存快照，可以先GC几次确保内存快照准确。 生成hprof文件并转换。这时生成的文件不能直接使用，要经过转换。转换工具在Android SDK的p
java内核源码-JavaCompass:「Java指南针」为你学习Java指明方向。内容涵盖互联网Java工程师所需要掌握的核心知识，涉及J
05-20
java内核源码 Java指南针 基础核心 基础知识 反射 泛型 动态代理 JDK8新特性 集合容器 多线程与并发 Spring SpringMVC SpringBoot Mybatis 数据结构与算法 入门基础 基础数据结构 数组&链表 数组&链表进阶 栈 队列 算法思想 数论&枚举&递归&分治&回溯 排序及其源码实现 贪心&动态规划 高级数据结构 树论基础&二叉树 二叉搜索树&红黑树 BTree Trie树&赫夫曼树 堆树 图论基础 最短路径 高效查找算法 二分&HashMap HashSet&TreeSet 索引技术 中文分词算法 Lucene 性能调优 JVM性能调优 JVM类加载机制详解 JVM内存模型 类字节码文件深度剖析 垃圾收集机制详解 十种垃圾收集器详解 JVM调优工具详解 GC日志详细分析 JVM调优实战 Mysql性能调优 SQL执行原理详解 索引底层剖析 执行计划与SQL优化 Mysql锁机制与事务隔离级别详解 并发编程 JMM内存模型 并发同步处理 并发包之tools工具 并发包之atomic原子操作 阻塞队列BlockingQueue详解 并发Map、Lis
JVM——GC日志实战分析
庄小焱
12-01 2568
博文将具体示例来演示如何输出 GC 日志，并对输出的日志信息进行解读分析，从中提取有用的信息。
GC 日志分析工具
实践求真知
09-10 3606
一 点睛 1 GCEasy GCEasy 是一款在线的 GC 日志分析器，可以通过 GC 日志分析进行内存泄露检测、GC 暂停原因分析、JVM 配置建议优化等功能，大多数功能是免费的。 官网地址：Universal JVM GC analyzer - Java Garbage collection log analysis made easy 2 GCViewer GCViewer 是一款离线的 GC 日志分析器，用于可视化 Java VM 选项 -verbose:gc 和 .NET 生成的数据
GC 调优实战
静静是我女朋友
03-16 821
原文：https://yq.aliyun.com/articles/54413 前情概要 对于线上高并发、高吞吐的Java web服务来说，长时间的GC暂停（也叫 stop- the-world）会严重影响系统吞吐、稳定性和用户体验。下文是我们的一个真实线上web系统针对GC调优过程的一个总结。这个系统在调优前，经常会反映有超秒的GC暂停问题，这种GC问题可能会导致调用方（可能是上层服务调用方...
GC问题排查实战一
王伟王胖胖的博客
03-06 911
GC问题排查实战一前言GC信息参数配置信息gceasy分析内存使用GC时间指标交互图信息GC之后的堆情况分析GC过程的持续时间分析GC暂停时间分析缺失的数据问题回收的容量分析 前言 最近在进行GC的相关调优和问题排查，进行了一个全用例的场景压测，可以抽象为5W用户连接，500QPS并发，然后持续大致24个小时。随后进行一些分析，并找出其中可能存在的问题，以及可以优化的方向。 GC信息 参数配置信息 -Xms12G -Xmx12G -Xmn4G -XX:MetaspaceSize=300M -XX:Surv
GC 日志分析
实践求真知
08-01 719
一点睛 通过阅读 GC 日志，我们可以了解 Java 虚拟机内存分配与回收策略。 内存分配与垃圾回收的参数列表。 -XX:+PrintGC 输出 GC 日志。类似：-verbose:gc -XX:+PrintGCDetails 输出 GC 的详细日志。 -XX:+PrintGCTimeStamps 输出 GC 的时间戳（以基准时间的形式表示）。 -XX:+PrintGCDateStamps 输出 GC 的时间戳（以日期的形式，如2013-05-04T21：53：59.
JVM原理与调优实战下载即用
02-27
在实际工作中，我们可以直接将初始的堆大小与最大堆大小相等， 这样的好处是可以减少程序运行时垃圾回收...为了找出程序中隐藏的这些问题，在项目开发后期往往会使用性能分析工具来对应用程序的性能进行分析和优化。
深入java虚拟机源码-books-recommendation:后端进阶经典图书
06-07
大型网站技术架构：核心原理与案例分析 DOCKER技术入门与实战 Docker容器与容器云第2版 NET_CLR_via_C#(第4版) elk-stack-guide-cn Go并发编程实战_第2版_郝林 Go语言学习笔记_雨痕 go-internals-zh steal 图解HTTP+...
GC问题排查实战二
王伟王胖胖的博客
03-06 1792
GC问题排查实战二JDK低版本的bug(GCLocker Initiated GC)的问题CMS的最终标记触发young gc的问题年轻代GC信息分析老年代GC情况分析年轻代分配和晋升情况分析CMS回收阶段统计分析垃圾生成分析内存泄露分析GC的原因总结 JDK低版本的bug(GCLocker Initiated GC)的问题 接着上篇，这个就很奇怪，前面刚经过一次young gc，怎么又来，而且年轻代没满，收集了一点点，于是只能百度了，然后发现这个bug，是低版本的，刚好我们用的是1.8.0_162，所以应
idea java性能分析,JVM实战：优化我的IDEA GC
weixin_39753584的博客
03-11 1693
IDEA是个好东西，可以说是地球上最好的Java开发工具，但是偶尔也会卡顿，仔细想想IDEA也是Java开发的，会不会和GC有关，于是就有了接下来对IDEA的GC进行调优IDEA默认JVM参数：-Xms128m-Xmx750m-XX:MaxPermSize=350m-XX:ReservedCodeCacheSize=240m-XX:+UseConcMarkSweepGC-XX:SoftRefLRU...
JDK8 GC日志分析
恐龙弟旺仔的博客
03-26 1590
前言： 从事java开发的小伙伴，对JVM都不会陌生。这块的知识点笔者不再多述，网络上有很多教程。 如果想去系统性的学习，笔者还是推荐 周志明老师的 《深入理解Java虚拟机》 基本了解了JVM的内存结构后，那么平时我们怎么排查jvm相关的问题呢？ 那就要从jvm参数和GC日志来分析具体问题了，通过jvm参数了解其基本设置；通过GC日志了解GC具体情况。 下面我们来实战一把。 1.准备工作 笔者使用的JDK版本为1.8.0_131版本，通过命令java -version可以看出 P
jvm性能调优实战 - 23 模拟Young GC的发生及分析GC日志
热门推荐
小工匠
04-21 1万+
文章目录PreJVM参数示范GC日志配置Code分析对象是如何分配在Eden区内的采用指定JVM参数运行程序 Pre 之前的文章大部分都是在分析JVM的运行原理、GC原理以及优化原理，从这里开始我们将要通过各种代码模拟出来JVM的各种场景，同时结合GC日志去分析到底JVM是怎么运行的。 今天的文章，我们将会给大家通过代码演示年轻代的Young GC是如何发生的，同时告诉大家如何在JVM参数中去配置打印对应的GC日志，然后我们通过GC日志来慢慢的分析JVM的GC到底是如何运行的。 JVM参数示范 首先，
docker中安装jenkins，并在node和cloud上跑通基于源码控制SCM的pipeline
qq_29022265的博客
05-19 1161
从安装jenkins到创建jenkins的node和cloud，最后再将scm和FreeStyle两种流水线跑通。
分布式锁2-Zookeeper分布式锁实战
最新发布
qq_43676797的博客
05-19 312
使用curator操作Zookeeper进行实战；：Apache Curator包含一套高级API框架和工具类，它 是Apache ZooKeeper 的Java 客户端库。
java数据结构与算法(验证二叉搜索树)
磐门的博客
05-17 402
节点返回空为ture,节点的值不在对应数据大小范围内返回false。将验证二叉搜索树计算同样可以转换为相同子问题，所以比较适合用递归。node为root的左节点时，max更新为root.val。node为root的右节点时，min更新为root.val。
arthas gc分析
06-07
具体的gc分析步骤如下： 1. 进入Arthas控制台，输入gc命令，即可查看当前应用程序的垃圾回收情况。 2. 在输出信息中，可以看到young区和old区的使用情况，包括已使用空间、可用空间、总空间等。 3. 可以通过参数-...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值