0 full gc时cpu idle_Go语言中如何观察GC

最新推荐文章于 2022-09-26 14:57:47 发布
最新推荐文章于 2022-09-26 14:57:47 发布
阅读量142 收藏
点赞数
文章标签： 0 full gc时cpu idle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39827850/article/details/112497550
版权

81be4ae65d75c3f8c772537369b51d5a.gif

我们以下面的程序为例，先使用四种不同的方式来介绍如何观察 GC，并在后面的问题中通过几个详细的例子再来讨论如何优化 GC。

package mainfunc allocate() {    _ = make([]byte, 1<<20)}func main() {    for n := 1; n < 100000; n++ {        allocate()    }}

方式一：GODEBUG=gctrace=1

我们首先可以通过命令：GODEBUG=gctrace=1 ./main 来查看，如下所示：

$ go build -o main$ GODEBUG=gctrace=1 ./maingc 1 @0.000s 2%: 0.009+0.23+0.004 ms clock, 0.11+0.083/0.019/0.14+0.049 ms cpu, 4->6->2 MB, 5 MB goal, 12 Pscvg: 8 KB releasedscvg: inuse: 3, idle: 60, sys: 63, released: 57, consumed: 6 (MB)gc 2 @0.001s 2%: 0.018+1.1+0.029 ms clock, 0.22+0.047/0.074/0.048+0.34 ms cpu, 4->7->3 MB, 5 MB goal, 12 Pscvg: inuse: 3, idle: 60, sys: 63, released: 56, consumed: 7 (MB)gc 3 @0.003s 2%: 0.018+0.59+0.011 ms clock, 0.22+0.073/0.008/0.042+0.13 ms cpu, 5->6->1 MB, 6 MB goal, 12 Pscvg: 8 KB releasedscvg: inuse: 2, idle: 61, sys: 63, released: 56, consumed: 7 (MB)gc 4 @0.003s 4%: 0.019+0.70+0.054 ms clock, 0.23+0.051/0.047/0.085+0.65 ms cpu, 4->6->2 MB, 5 MB goal, 12 Pscvg: 8 KB releasedscvg: inuse: 3, idle: 60, sys: 63, released: 56, consumed: 7 (MB)scvg: 8 KB releasedscvg: inuse: 4, idle: 59, sys: 63, released: 56, consumed: 7 (MB)gc 5 @0.004s 12%: 0.021+0.26+0.49 ms clock, 0.26+0.046/0.037/0.11+5.8 ms cpu, 4->7->3 MB, 5 MB goal, 12 Pscvg: inuse: 5, idle: 58, sys: 63, released: 56, consumed: 7 (MB)gc 6 @0.005s 12%: 0.020+0.17+0.004 ms clock, 0.25+0.080/0.070/0.053+0.051 ms cpu, 5->6->1 MB, 6 MB goal, 12 Pscvg: 8 KB releasedscvg: inuse: 1, idle: 62, sys: 63, released: 56, consumed: 7 (MB)

在这个日志中可以观察到两类不同的信息：

gc 1 @0.000s 2%: 0.009+0.23+0.004 ms clock, 0.11+0.083/0.019/0.14+0.049 ms cpu, 4->6->2 MB, 5 MB goal, 12 Pgc 2 @0.001s 2%: 0.018+1.1+0.029 ms clock, 0.22+0.047/0.074/0.048+0.34 ms cpu, 4->7->3 MB, 5 MB goal, 12 P...

另外还有：

scvg: 8 KB releasedscvg: inuse: 3, idle: 60, sys: 63, released: 57, consumed: 6 (MB)scvg: inuse: 3, idle: 60, sys: 63, released: 56, consumed: 7 (MB)...

对于用户代码向运行时申请内存产生的垃圾回收：

gc 2 @0.001s 2%: 0.018+1.1+0.029 ms clock, 0.22+0.047/0.074/0.048+0.34 ms cpu, 4->7->3 MB, 5 MB goal, 12 P

含义由下表所示：

字段含义
gc 2第二个 GC 周期
0.001程序开始后的 0.001 秒
2%该 GC 周期中 CPU 的使用率
0.018标记开始时， STW 所花费的时间(wall clock)
1.1标记过程中，并发标记所花费的时间(wall clock)
0.029标记终止时， STW 所花费的时间(wall clock)
0.22标记开始时， STW 所花费的时间(cpu time)
0.047标记过程中，标记辅助所花费的时间(cpu time)
0.074标记过程中，并发标记所花费的时间(cpu time)
0.048标记过程中，GC 空闲的时间(cpu time)
0.34标记终止时， STW 所花费的时间(cpu time)
4标记开始时，堆的大小的实际值
7标记结束时，堆的大小的实际值
3标记结束时，标记为存活的对象大小
5标记结束时，堆的大小的预测值
12P 的数量

wall clock 是指开始执行到完成所经历的实际时间，包括其他程序和本程序所消耗的时间；cpu time 是指特定程序使用 CPU 的时间；他们存在以下关系：

  • wall clock < cpu time: 充分利用多核

  • wall clock ≈ cpu time: 未并行执行

  • wall clock > cpu time: 多核优势不明显

对于运行时向操作系统申请内存产生的垃圾回收(向操作系统归还多余的内存)：

scvg: 8 KB releasedscvg: inuse: 3, idle: 60, sys: 63, released: 57, consumed: 6 (MB)

含义由下表所示：

字段含义

8KB

releasd

向操作系统归还了 8 KB 内存
3已经分配给用户代码、正在使用的总内存大小 (MB)
60空闲以及等待归还给操作系统的总内存大小(MB)
63通知操作系统中保留的内存大小(MB)
57已经归还给操作系统的(或者说还未正式申请)的内存大小(MB)
6已经从操作系统中申请的内存大小(MB)

方式二：go tool trace

go tool trace 的主要功能是将统计而来的信息以一种可视化的方式展示给用户。要使用此工具，可以通过调用 trace API：

package mainfunc main() {    f, _ := os.Create("trace.out")    defer f.Close()    trace.Start(f)    defer trace.Stop()    (...)}

并通过执行以下命令，来启动可视化界面：：

$ go tool trace trace.out2020/12/09 12:50:33 Parsing trace...2020/12/09 12:50:38 Splitting trace...2020/12/09 12:50:45 Opening browser. Trace viewer is listening on http://127.0.0.1:51839

c32901f51b4d3cce5a22a75ab92d1eaa.png

选择第一个链接可以获得如下图示：

f3d74b546b1e360c9d6946757ada4f64.png

右上角的问号可以打开帮助菜单，主要使用方式包括：

  • w/s 键可以用于放大或者缩小视图

  • a/d 键可以用于左右移动

  • 按住 Shift 可以选取多个事件

方式三：debug.ReadGCStats

此方式可以通过代码的方式来直接实现对感兴趣指标的监控，例如我们希望每隔一秒钟监控一次 GC 的状态：

func printGCStats() {    t := time.NewTicker(time.Second)    s := debug.GCStats{}    for {        select {        case             debug.ReadGCStats(&s)            fmt.Printf("gc %d last@%v, PauseTotal %v\n", s.NumGC, s.LastGC, s.PauseTotal)        }    }}func main() {    go printGCStats()    (...)}

我们能够看到如下输出：

$ go run main.gogc 4954 last@2020-12-09 13:19:37.505575 +0100 CET, PauseTotal 29.901171msgc 9195 last@2020-12-09 13:19:38.50565 +0100 CET, PauseTotal 77.579622msgc 13502 last@2020-12-09 13:19:39.505714 +0100 CET, PauseTotal 128.022307msgc 17555 last@2020-12-09 13:19:40.505579 +0100 CET, PauseTotal 182.816528msgc 21838 last@2020-12-09 13:19:41.505595 +0100 CET, PauseTotal 246.618502ms

方式四：runtime.ReadMemStats

除了使用 debug 包提供的方法外，还可以直接通过运行时的内存相关的 API 进行监控：

func printMemStats() {    t := time.NewTicker(time.Second)    s := runtime.MemStats{}    for {        select {        case             runtime.ReadMemStats(&s)            fmt.Printf("gc %d last@%v, next_heap_size@%vMB\n", s.NumGC, time.Unix(int64(time.Duration(s.LastGC).Seconds()), 0), s.NextGC/(1<<20))        }    }}func main() {    go printMemStats()    (...)}
$ go run main.gogc 4887 last@2020-12-09 13:44:56 +0100 CET, next_heap_size@4MBgc 10049 last@2020-12-09 13:44:57 +0100 CET, next_heap_size@4MBgc 15231 last@2020-12-09 13:44:58 +0100 CET, next_heap_size@4MBgc 20378 last@2020-12-09 13:44:59 +0100 CET, next_heap_size@6MB

当然，后两种方式能够监控的指标很多，大家可以自行查看 debug.GCStats [2] 和runtime.MemStats [3] 的字段，这里不再赘述了。

以上是关于Go语言如何观察GC 的介绍，感谢您的阅读，如有疑问或意见请及时反馈给我们。

推荐文章：

Go语言中的GC(二)

weixin_39827850
关注
cpuidle_sysfs.rar_V2
09-24
标题 "cpuidle_sysfs.rar_V2" 暗示我们关注的是Linux内核中的CPU空闲状态（CPUIdle）管理及其与系统文件系统（sysfs）的交互。描述提到"cpuidle get count percent for Linux v2.13.6."，这意味着我们要探讨的是在...
full gc什么时候触发_浅尝Go语言GC
weixin_39629631的博客
12-27 407
大家好，我是小栈君，因为个人和工作的缘故，所以拖更了一点时间，但是关于拖更的内容小栈君会在后续的时间中补回来，还希望大家继续支持和关注小栈君。当然，在国内疫情稍微减缓的情况下，小栈君在这里也多说两句，在非常时刻，我们应当保持警惕，清洗手，多通风，避免人群聚集，希望大家平安健康，闲话不多说，我们直接进入正题，今天给大家分享的事关于Go语言中的GC，本期的分享并没有多少代码可言，都是一些理论知识，希望...
一次fullgc排查
weixin_42236849的博客
09-26 574
fullgc排查，内存分配，gc日志查看
full gc什么时候触发_黑魔法：Go 有 GC 还能延长变量的生命周期？
weixin_39929918的博客
12-01 161
Illustration created for “A Journey With Go”, made from the original Go Gopher, created by Renee French.本文基于 Go 1.13。在 Go 中，我们不需要自己管理内存分配和释放。然而，有些时候我们需要对程序进行更细粒度的控制。Go 运行时提供了很多种控制运行时状态及其与内存管理器之间相互影响的方...
一次 JVM FullGC 的排查过程及解决方案！
weixin_33971977的博客
06-11 1427
本文来源：字节观，是二阿公同学的投稿问题产生最近新上线的系统偶尔会报FullGC时间过长（>1s）的告警，查看GC日志，如下图所示：看到GC日志，我第一时间关注到的不是GC耗时，而是GC触发的原因：Metadata GC Threshold也就是 FullGC 触发的原因是因为Metaspace大小达到了GC阈值。在监控系统里面看了一下Metaspace的大小变化趋势，如下图所示：按照以往的...
GC详解及Minor GC和Full GC触发条件总结
热门推荐
【逸辰杳】的博客
09-17 8万+
GC，即就是Java垃圾回收机制。目前主流的JVM（HotSpot）采用的是分代收集算法。与C++不同的是，Java采用的是类似于树形结构的可达性分析法来判断对象是否还存在引用。即：从gcroot开始，把所有可以搜索得到的对象标记为存活对象。 GC机制 要准确理解Java的垃圾回收机制，就要从：“什么时候”，“对什么东西”，“做了什么”三个方面来具体分析。 第一：“什么时候”即就是GC触发的...
cpuidle_sysfs.rar_UP
09-23
在Linux操作系统中，CPU空闲状态（CPUIDLE）是系统节能的重要机制，它允许CPU在无工作可做时进入低功耗模式。`cpuidle_sysfs` 提供了与用户空间交互的接口，通过sysfs文件系统来查询和控制CPU的空闲状态。 描述中的...
Linux_CPUIDLE_开发指南1
08-04
Linux中的CPUIDLE（CPU Idle）机制是操作系统用于管理处理器空闲状态的一种方式，它旨在在没有工作负载时最大限度地降低功耗。本指南适用于CPUIDLE驱动开发维护人员以及需要利用cpuidle功能的工程师，帮助他们理解和...
idle.zip_badly8co_opengl idle_opengl idle函数_opengl中idle_opengl中i
09-22
在OpenGL编程中，“idle”函数通常是指一个特殊类型的回调函数，它在图形应用程序的主循环中被调用，用于处理那些在没有用户交互时需要进行的任务，比如连续更新和渲染动态图形。 “idle”这个词在OpenGL上下文中...
Golang GC算法
u010412301的博客
01-04 831
Golang GC算法 一剑光寒十九洲 · 大约12小时之前 · 46 次点击 · 预计阅读时间 13 分钟 · 不到1分钟之前 开始浏览     概括 Go的垃圾回收官方形容为 非分代 非紧缩 写屏障 三色并发标记清理算法。非分代：不像Java那样分为年轻代和年老代，自然也没有minor gc和maj o gc的区别。非紧缩：在垃圾回收之后不会进行内存整理以清除内存碎片。写屏障：在并发标记...
为Go语言GC正名－20秒到100微妙的演变史
Sunface撩技术
07-07 3万+
原文链接：https://blog.twitch.tv/gos-march-to-low-latency-gc-a6fa96f06eb7#.lrmfby2xs 下面我们会介绍https://www.twitch.tv视频直播网站在使用Go过程中的GC耗时演变史。  我们是视频直播系统且拥有数百万的在线用户，消息和聊天系统全部是用Go写的，该服务单台机器同时连接了50万左右的用户。在Go1.4到1.
第一次FullGC优化实战
u012257955的博客
07-13 1万+
关于FullGC，博主只是在一些书中或者博客中，看别人调优过，今天兴起，亲自在本地调了一把本地的项目：         第一步：我首先打开了jvisualvm.exe，在Visual GC 里面发现了今天要讨论的重点：GC             第二部：我在项目启动参数里面配置了：             -XX:+PrintGCApplicationStoppedTime
JVM系列（五）之触发full gc的可能情况
chicuowu0534的博客
06-19 231
Full GC 除CMS GC外，当旧生代和持久化触发GC时，其实是对新生代、旧生代及持久代都进行GC，因此通常又称为Full GC。当Full GC被触发时，首先按照新生代所配置的GC方式对新生代进行GC（在新生代采用PS GC时，可通过-XX:-ScavengeBeforeFul...
go-GC原理
YouSec995 的博客
08-10 359
title: go_GC原理 category: Goroutine date: 2021-07-25 22:23:06 tags: Golang GC 有图文的博客地址 Mark & Sweep Carbage Collection 现代高级编程语言管理内存的方式分为两种：自动和手动，像 C、C++ 等编程语言使用手动管理内存的方式，工程师编写代码过程中需要主动申请或者释放内存；而 PHP、Java 和 Go 等语言使用自动的内存管理系统，有内存分配器和垃圾收集器来代为分配和回收内存，其中.
每三日一GO -- 垃圾回收器如何监控程序
lingdi2000的专栏
07-12 384
文章目录达到堆阈值达到时间阈值CPU限制go trace 输出内容含义 原文地址:https://medium.com/a-journey-with-go/go-how-does-the-garbage-collector-watch-your-application-dbef99be2c35 Go 垃圾回收器会帮助开发人员自动释放不再使用的内存。 但是，跟踪内存并清理它可能会影响程序的性能。 Go 垃圾收集器旨在实现这些目标，并专注于： 尽量减少程序gc的次数，因为gc时程序会停止运行，只处理内存回收工
数据分析高级培训：客户体验分析-课件
11-10
课程目标： 本课程旨在让学员了解什么是客户体验，客户服务体验的重要性以及常见指标，掌握客户体验的分析方法，学会客户问题的识别以及针对问题制定有效的解决方案。 课程大纲： 客户体验的概述 客户体验的分析方法 客户问题解决的方法论
【微电网潮流】分布式电源微电网潮流【Matlab仿真 7357期】.zip
11-10
CSDN Matlab武动乾坤上传的资料均有对应的代码，代码均可运行，亲测可用，适合小白； 1、代码压缩包内容 主函数：main.m； 调用函数：其他m文件；无需运行 运行结果效果图； 2、代码运行版本 Matlab 2019b；若运行有误，根据提示修改；若不会，私信博主； 3、运行操作步骤 步骤一：将所有文件放到Matlab的当前文件夹中； 步骤二：双击打开main.m文件； 步骤三：点击运行，等程序运行完得到结果； 4、仿真咨询 如需其他服务，可私信博主或扫描博客文章底部QQ名片； 4.1 博客或资源的完整代码提供 4.2 期刊或参考文献复现 4.3 Matlab程序定制 4.4 科研合作
Unity3d-lesson_EVAC-CITY.zip
11-10
Unity3d实例工程，供学习参考
2023-04-06-项目笔记 - 第三百一十三阶段 - 4.4.2.311全局变量的作用域-311 -2025.11.10
最新发布
11-10
2023-04-06-项目笔记-第三百一十三阶段-课前小分享_小分享1.坚持提交gitee 小分享2.作业中提交代码 小分享3.写代码注意代码风格 4.3.1变量的使用 4.4变量的作用域与生命周期 4.4.1局部变量的作用域 4.4.2全局变量的作用域 4.4.2.1全局变量的作用域_1 4.4.2.311局变量的作用域_311- 2024-11-10
idle_thread_set_boot_cpu
07-27
在 Linux 内核中，`idle_thread_set_boot_cpu` 函数被用来设置系统启动时的空闲线程所运行的初始 CPU 核心。它通常会在 `arch/x86/kernel/smpboot.c` 文件中定义和实现。 需要注意的是，这个函数通常是由系统内部...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值