golang unmarshal & marshal 导致 cup 内存占用率过高

最新推荐文章于 2024-07-10 18:05:53 发布
最新推荐文章于 2024-07-10 18:05:53 发布
阅读量782 收藏 1
点赞数 1
分类专栏： go 进阶 go 文章标签： golang go
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40938444/article/details/129797546
版权

golang unmarshal & marshal 导致 cup 内存占用率过高

现象

当任务过多时，导致中控 cup 100%。

排查问题发现：

当任务数小于 2000 时：

请添加图片描述

当任务数大于 7000 时：

请添加图片描述

分析原因：

func fn(){
	res := initRes()
	result := make(map[string]*TranscodeEntity)
	for k, v := range res {
		taskId := k
		taskEntity := &TranscodeEntity{}
		err := json.Unmarshal(v, taskEntity)
		if err != nil {
			continue
		}
		result[taskId] = taskEntity
	}
}

每次分发任务时，都会查询所有任务，导致 Unmarshal 。结合线上内存分析工具 ppor 显示，当 cup 过高时，marshal & unmarshal 都会各自达到 30% 左右。

且分发任务执行次数频率较高，每分钟执行一次。

验证

生成初使数据

type TranscodeEntity struct {
	Weight    int    `json:"weight"`    // 任务权重
	TaskId    string `json:"taskId"`    //任务id
	...
    Profile  string `json:"perfile"` 
}

var mark = `{
"weight": 100,
"taskId": "task001",
...
"profile": "high"
}`

func initRes() map[string][]byte {
	res := make(map[string][]byte)
	for i := 0; i < Max; i++ {
		generateUUID, err := uuid.GenerateUUID()
		if err != nil {
			return nil
		}
		res[generateUUID] = []byte(mark)
	}
	return res
}

可能有问题的代码块

func willRefactor() {
	res := initRes()
	result := make(map[string]*TranscodeEntity)
	for k, v := range res {
		taskId := k
		taskEntity := &TranscodeEntity{}
		err := json.Unmarshal(v, taskEntity)
		if err != nil {
			continue
		}
		result[taskId] = taskEntity
	}
}
验证执行时间和内存
func BenchmarkWillRefactor(b *testing.B) {
	b.ResetTimer()
	for i := 0; i < b.N; i++ {
		willRefactor()
	}
	b.StopTimer()

	var memStats runtime.MemStats
	runtime.ReadMemStats(&memStats)
	fmt.Printf("Memory used: %v bytes\n", memStats)
}

结果

goos: darwin
goarch: arm64
pkg: study_go/feature_test
BenchmarkWillRefactor
Memory Usage: 31029672 bytes/op
Memory Usage: 34238947 bytes/op
Memory Usage: 61603173 bytes/op
BenchmarkWillRefactor-8   	      10	 109_089_525 ns/op

注：

61603173 bytes = 60 mb

109_089_525 ns = 0.1 s

使用更高效的 unmarshal 工具试试
func RefactorFn() {
	res := initRes()
	result := make(map[string]*TranscodeEntity)
	for k, v := range res {
		taskId := k
		taskEntity := &TranscodeEntity{}
		err := jsoniter.Unmarshal(v, taskEntity)
		if err != nil {
			continue
		}
		result[taskId] = taskEntity
	}
}
验证运行时间和内存使用
func BenchmarkRefactorFn(b *testing.B) {
	b.ResetTimer()
	for i := 0; i < b.N; i++ {
		RefactorFn()
	}
	b.StopTimer()

	var memStats runtime.MemStats
	runtime.ReadMemStats(&memStats)
	fmt.Printf("Memory Usage: %v bytes/op\n", int64(memStats.TotalAlloc)/int64(b.N))
}

结果

goos: darwin
goarch: arm64
pkg: study_go/feature_test
BenchmarkRefactorFn
Memory Usage: 32632032 bytes/op
Memory Usage: 34434436 bytes/op
Memory Usage: 53584024 bytes/op
BenchmarkRefactorFn-8   	      26	  45_508_535 ns/op
优化字段方案
type ShortTranscodeEntity struct {
	Weight    int    `json:"weight"`    // 任务权重
	TaskId    string `json:"taskId"`    //任务id
	TaskName  string `json:"taskName"`  //视频标题
	TransType int    `json:"transType"` //转码类型   0 轮播 1点播
}

var shortMark = `{
"weight": 100,
"taskId": "task001",
"taskName": "example video",
"streamId": "stream001",
}`

func initResShort() map[string][]byte {
	res := make(map[string][]byte)
	for i := 0; i < Max; i++ {
		generateUUID, err := uuid.GenerateUUID()
		if err != nil {
			return nil
		}
		res[generateUUID] = []byte(shortMark)
	}
	return res
}
只减少字段数据，使用 json 解析
func willRefactorShort() {
	res := initResShort()
	result := make(map[string]*TranscodeEntity)
	for k, v := range res {
		taskId := k
		taskEntity := &TranscodeEntity{}
		err := json.Unmarshal(v, taskEntity)
		if err != nil {
			continue
		}
		result[taskId] = taskEntity
	}
}

func BenchmarkWillRefactorShort(b *testing.B) {
	b.ResetTimer()
	for i := 0; i < b.N; i++ {
		willRefactorShort()
	}
	b.StopTimer()

	var memStats runtime.MemStats
	runtime.ReadMemStats(&memStats)
	fmt.Printf("Memory Usage: %v bytes/op\n", int64(memStats.TotalAlloc)/int64(b.N))
}

结果

goos: darwin
goarch: arm64
pkg: study_go/feature_test
BenchmarkWillRefactorShort
Memory Usage: 12021184 bytes/op
Memory Usage: 12005521 bytes/op
Memory Usage: 21302302 bytes/op
BenchmarkWillRefactorShort-8   	      81	  14_186_038 ns/op

修改字段，改变 struct，使用 json 解析

func willRefactorShort() {
	res := initResShort()
	result := make(map[string]*ShortTranscodeEntity)
	for k, v := range res {
		taskId := k
		taskEntity := &ShortTranscodeEntity{}
		err := json.Unmarshal(v, taskEntity)
		if err != nil {
			continue
		}
		result[taskId] = taskEntity
	}
}

func BenchmarkWillRefactorShort(b *testing.B) {
	b.ResetTimer()
	for i := 0; i < b.N; i++ {
		willRefactorShort()
	}
	b.StopTimer()

	var memStats runtime.MemStats
	runtime.ReadMemStats(&memStats)
	fmt.Printf("Memory Usage: %v bytes/op\n", int64(memStats.TotalAlloc)/int64(b.N))
}

结果

goos: darwin
goarch: arm64
pkg: study_go/feature_test
BenchmarkWillRefactorShort
Memory Usage: 7692352 bytes/op
Memory Usage: 7671502 bytes/op
Memory Usage: 11377431 bytes/op
BenchmarkWillRefactorShort-8   	      87	  13_443_757 ns/op
改变解析工具，只减少数据
func RefactorFnShort() {
	res := initResShort()
	result := make(map[string]*TranscodeEntity)
	for k, v := range res {
		taskId := k
		taskEntity := &TranscodeEntity{}
		err := jsoniter.Unmarshal(v, taskEntity)
		if err != nil {
			continue
		}
		result[taskId] = taskEntity
	}
}

func BenchmarkRefactorFnShort(b *testing.B) {
	b.ResetTimer()
	for i := 0; i < b.N; i++ {
		RefactorFnShort()
	}
	b.StopTimer()

	var memStats runtime.MemStats
	runtime.ReadMemStats(&memStats)
	fmt.Printf("Memory Usage: %v bytes/op\n", int64(memStats.TotalAlloc)/int64(b.N))
}

结果

goos: darwin
goarch: arm64
pkg: study_go/feature_test
BenchmarkRefactorFnShort
Memory Usage: 17038000 bytes/op
Memory Usage: 17168781 bytes/op
Memory Usage: 30109440 bytes/op
BenchmarkRefactorFnShort-8   	      58	  19_926_978 ns/op
改变解析工具，改变 struct
func RefactorFnShort() {
	res := initResShort()
	result := make(map[string]*ShortTranscodeEntity)
	for k, v := range res {
		taskId := k
		taskEntity := &ShortTranscodeEntity{}
		err := jsoniter.Unmarshal(v, taskEntity)
		if err != nil {
			continue
		}
		result[taskId] = taskEntity
	}
}

func BenchmarkRefactorFnShort(b *testing.B) {
	b.ResetTimer()
	for i := 0; i < b.N; i++ {
		RefactorFnShort()
	}
	b.StopTimer()

	var memStats runtime.MemStats
	runtime.ReadMemStats(&memStats)
	fmt.Printf("Memory Usage: %v bytes/op\n", int64(memStats.TotalAlloc)/int64(b.N))
}

goos: darwin
goarch: arm64
pkg: study_go/feature_test
BenchmarkRefactorFnShort
Memory Usage: 12674312 bytes/op
Memory Usage: 12746981 bytes/op
Memory Usage: 21715815 bytes/op
BenchmarkRefactorFnShort-8   	      62	  18_712_932 ns/op

结论

使用 jsoniter.Unmarshal有效的缩短了运行时长，但是内存使用情况，并没有优化。

所以要优化内存使用情况，需要修改查询手段：

  • 使用中间价保存任务信息（redis 等内存数据库）

  • 使用分页查询，限制查询数据大小

  • 优化数据字段,保存较少数据

  • json 大小，较大时，执行效率 json <= jsoniter，内存使用基本无差距

  • json 大小，较小时，执行效率 json >= jsoniter，内存使用 json < jsoniter

湫然Quin
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
从真实事故出发：golang 内存问题排查指北
2401_84149530的博客
04-12 411
goroutine 申请过多，增长速度快于释放速度，就会导致 goroutine 越来越多。
使用dlv分析golang进程cpu占用高问题
Cloveme的博客
05-24 1812
c++通过dbg分析内存和cpu，可能大家都会。本篇主要分析通过delve分析golang程序cpu占用高的问题。 delve是golang推荐的专门go语言调试工具，用来替代gdb。golang组织说delve能更好的理解go语言。 先用vscode写个简单的demo，main.go代码如下： package main import ( "fmt" "os" "os/signal" ) func main() { fmt.Println("main start") msgList :=
Golang json Unmarshal阶段内存性能优化
baidu_22405691的博客
02-06 1354
golang json在 大body情况下，Unmarshal阶段内存性能优化
Golang线上内存||cup过高问题排查（pprof）
qq_35429326的博客
05-06 1001
profile: CPU profile. You can specify the duration in the seconds GET parameter. After you get the profile file, use the go tool pprof command to investigate the profile.【默认进行30s的CPU Profing，用于观察CPU使用情况】需要注意的是，对于profile而言，总是需要采样一段时间，才可以看到数据。
go程序cpu过高问题排查方法
zoudaohoutianI的博客
09-24 4712
介绍通过dlv来排查、分析go程序cpu过高问题
golang cpu占用率分析
07-11 3479
使用golang进行复杂的组合运算，导致CPU占用率非常高。参考网上一些帖子，自己研究了一下go pprof进行CPU占用率分析和优化。主要使用svg图的方式查看CPU占用率分布。1、问题现象：程序在用户量大、运算量多的情况下出现多核CPU占用率均超过99%的情况，用户端出现明显卡顿和消息响应延迟。使用htop命令查看结果如下：2、调试方法2.1 引入pprof包//在import中添加pprof...
Golang中的CPU占满100%及解决方案
u010412301的博客
11-26 4744
Golang中的CPU占满100%及解决方案 有一个流媒体适配服务，出现了CPU开销很大的问题，一个服务把CPU资源占满了，导致其他服务无法正常工作。 下面来详细记录发现bug和解决的流程。 发现CPU开销很大 扫描发现，是垃圾回收导致CPU使用上升 ： Time: Mar 22, 2019 at 5:52pm (CST) Duration: 1mins, Total samp...
如何排查golang高cpu低内存的问题
weixin_42591413的博客
02-10 789
解决Go语言高CPU占用低内存问题的方法如下： 利用pprof进行性能分析：pprof是Go语言内置的性能分析工具，可以帮助我们定位CPU瓶颈和内存泄漏等问题。 跟踪代码执行：使用跟踪工具记录下代码的执行流程，从而找到导致高CPU占用的具体代码段。 分析Goroutine堆栈：使用Golang的runtime包和工具，分析Goroutine的堆栈信息，从而找到导致高CPU占用的具体原因。 ...
go读取Linux下cpu占用率、cpu温度、内存占用率及磁盘占用率
08-27
在Go语言中，读取Linux系统的CPU占用率、CPU温度、内存占用率以及磁盘占用率涉及到了系统监控和性能分析。以下将详细介绍如何利用Go实现这些功能。 1. **CPU占用率** CPU占用率是指CPU在单位时间内用于执行用户...
golang json.Marshal 特殊html字符被转义的解决方法
09-18
今天小编就为大家分享一篇golang json.Marshal 特殊html字符被转义的解决方法，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
tech-stack:Golang &&后端堆栈，不断更新
05-13
Golang Delve Authentication Paper Paper:books: Link GO官方文档 GO官方博客 GO官方仓库 High Performance Go Workshop GO Dev GO Help Go Talks Go Wiki Go Time Go Debug Go Basic Getting up and running with ...
golang中定时器cpu使用率高的现象详析
09-20
主要给大家介绍了关于golang中定时器cpu使用率高的现象的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧。
解决golang内存溢出的方法
09-18
主要介绍了解决golang内存溢出的方法，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
为字节节省数十万核的json库sonic
xiyoutonggong0812的博客
11-06 1253
json编解码在微服务cpu开销中占据相当的比重，本文介绍字节golang自研json库的降本效果和部分重要模块的实现，并借此引申更多场景的优化建议，希望对当下如火如荼的降本提供一个思路。
Golang线上内存爆掉问题排查（pprof）
weixin_45565886的博客
03-30 1334
Golang线上内存爆掉问题排查（pprof）
[Golang] json.Marshal问题总结
m0_38059938的博客
06-25 3199
json.Marshal在处理匿名字段的时候有可能遭遇的问题。
GO 程序占用内存过高
cuichenghd的专栏
03-31 1037
还有一种比较倒霉的情况 Linux TOP 里面的RES 很高， 但是 pprof 不高，这基本就是内存释放了 ，但是释放的内存只是给了GO程序，GO程序没有把内存给OS。我用的是GO 1.15 默认是MADV_FREE，释放给OS内存是很慢的。pprof 是统计已用的内存，未用的不统计，这就造成了和 TOP RES 不统一的现象。这个是实时回收给OS的策略。比如 go tool pprof -inuse_space http://192.168.1.1:10000/debug/pprof/heap。
golang一次CPU占用高问题的排查
热门推荐
仮想の世界
07-05 1万+
写的程序windows调试完成部署到centos时候出现了CPU占用高的问题，基本快占用1核 代码中添加生成cpuprofile 使用go tool pprof 查看消耗CPU时间最多的调用 发现占用最高的项为runtime.futex, 查资料后了知道linux futex是锁相关，检查代码后发现问题所在,有个库在time.AfterFunc中把传入的以秒为单位的时间直接转为time...
使用Go编写的持续下行测速脚本，快速消耗流量且不伤硬盘
最新发布
坐公交也用券
07-10 476
使用go语言编写的持续下行测速脚本,可用于任意平台使用,通过指定URL清单文本文件自动遍历测速,支持多线程,支持多平台。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值