golang协程在高并发后资源无法释放的问题

最新推荐文章于 2024-05-07 20:43:53 发布
最新推荐文章于 2024-05-07 20:43:53 发布
阅读量221 收藏
点赞数
分类专栏： 后端 golang 文章标签： golang 开发语言 后端
原文链接：https://cloud.tencent.com/developer/article/2324701
版权

问题

因为业务问题，最近参考fasthttp写了一份协程池workerpool.go

在测试的时候突发奇思妙想来测一下有没有内存泄露的问题

凭着多年C语言的受苦经历，直觉告诉我，在模拟并发后内存应该恢复到并发前的水平

实际是，并发结束后内存居高不下，让我一度认为是我写的协程池内存泄漏了，经过反复测试后，我发现同一段代码，直接同步调用和使用goroutine调用，后者也出现了内存无法回收的问题（无论runtime.gc()多少次）。

原因

互联网真好，这里的大佬个个都是人才，说话又好听，我超喜欢这里的！

直接上原文吧

瞬间高并发，goroutine执行结束后的资源占用问题

省流

撑大了，缩减不回去了

解决办法

洗洗睡吧

其他参考文章

为什么 Go 模块在下游服务抖动恢复后，CPU 占用无法恢复

runtime: maybe allgs should shrink after peak load

米莉亚姆·奥莱恩
关注
专栏目录
Golang 协程/线程/进程 区别以及 GMP 详解
JohnYang's CSDN Home
06-01 993
Ggoroutine，即Go协程，每个go关键字都会创建一个协程。Mthread内核级线程，所有的G都要放在M上才能运行。Pprocessor处理器，调度G到M上，其维护了一个队列，存储了所有需要它来调度的G。Goroutine调度器P和OS调度器是通过M结合起来的，每个M都代表了1个内核线程，OS调度器负责把内核线程分配到CPU的核上执行，
Ants -- golang 协程池案例
08-05 6559
偶尔看见一个不错的协程池实现，觉得不错，但是官方例子有些冗余，所以自己写了个超简单的应用场景。 如果想要了解实现原理的可以点击【这里】，原作者已经写得很清楚了。 栗子 场景是–我们要处决僵尸，但是只有3把电椅。 当然，最主要的还是要有僵尸给我们盘，所以我们有两个方法： var tunnel = make(chan string, 1) // 僵尸隧道 // 处决僵尸 func ExecuteZo...
Golang 哪些情况会导致协程泄露？
wgchen
03-02 543
Golang 哪些情况会导致协程泄露？
golang两种更好的控制协程自然释放的方法
思月行云
01-14 580
go - How to stop a goroutine - Stack Overflow Generally, you could create a channel and receive a stop signal in the goroutine. There two way to create channel in this example. channel context. In the example I will democontext.WithCancel The .
Go语言 go程释放（退出/销毁）
热门推荐
weixin_42117918的博客
09-02 1万+
情况1：Go语言中，若在子go程中创建一个新 go程，子go程释放（销毁），新创建的go程不会随着子go程的销毁而销毁。原因：go程共享堆，不共享栈，go程由程序员在go的代码里显示调度（释放）。 实例： package main import ( "fmt" "time" "runtime" ) func test() { for i:=0;i<10;i++{ fmt....
Golang 之 协程 goroutine（二）
JaysenLeo
08-01 665
抢占式多任务处理 计算机只有一个处理器，宏观上，我们却可以看到数以百计的线程正同时运行在机器上，这就是抢占式多任务处理的效果，通过操作系统内核通过对线程的调度（调度器作为内核的一部分），将时间切片，分成一段段的时间片。这些时间间隔以毫秒为精度且长度并不固定。针对每个处理器，每个时间片仅服务于单独一个线程。线程的迅速执行给我们造成了它们在同时运行的假象。我们在两个时间片的间隔中进行上下文...
Go 程序释放不用的内存
范安崇的博客
09-30 3238
Go 程序内存 通过 pprof 发现，一个 Go 进程实际 in use 内存只占用几百兆，实际物理内存占用了 4、5G 原因很清晰，进程的内存分配器，没有把空闲内存还回系统 挤兑内存 可以通过挤兑内存的方式，触发进程归还内存 #include <stdio.h> #include <string.h> #include <unistd.h> #include <cstdlib> int main() { char *p = NULL; c
GoLang 高并发 Goroutine（一）
Aaron
05-06 392
GoLang 高并发 Goroutine（一）并发和并行Goroutinegoroutine 是如何工作的fork-join并发模型闭包例1例2 并发和并行 并发和并行：并发属于代码，并行属于一个运行的程序；具体是我们并没有编写并行的代码，而是期待在运行时能够并行的并发代码 Goroutine goroutine 是一个并发函数（并不是并行） func main(){ go sayHello...
Golang亿级高并发实例（代码可直接使用）
lys07962000的专栏
04-20 2578
main.go package main import ( "fmt" conc "github.com/micro/examples/Test/Concurrence" "runtime" //"runtime" "time" ) //定义一个实现Job接口的数据 type Score struct { Num int } //定义对数据的处理 fu...
瞬间高并发，goroutine结束后的资源占用问题
techdashen的博客
06-26 266
倾向于这种只扩张，不回缩的策略。另外，保洁阿姨需要每天清扫我名下的房间，等同于程序的GC。最近在看大量goroutine的回收问题：假如我有一个10万url的切片，都是正常情况下请求会超时的外网，设置超时时间10s。），因为调度器在很多执行的时候需要使用P（GPM），因此不能使用写屏障，所以调度器很难确定一个协程是否可以当成垃圾回收，这样调度器里的协程指针信息就会泄露。当流量恢复，这个在洪峰期间扩增的allgs切片，不会相应变小，还是要进行遍历扫描，从而cpu占用升高，用于处理业务的cpu占比相应减少。
golang-ants协程池使用和实现逻辑
go go go
05-30 4639
  ants是一个高性能的 goroutine 池，实现了对大规模 goroutine 的调度管理、goroutine 复用，允许使用者在开发并发程序的时候限制 goroutine 数量，复用资源，达到更高效执行任务的效果
Golang适合高并发场景的原因分析
jfdtygv的博客
11-05 153
分享一下我老师大神的人工智能教程！零基础，通俗易懂！http://blog.csdn.net/jiangjunshow也欢迎大家转载本篇文章。分享知识，造福人民，实现我们中华民族伟大复兴！&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 典型的两个现实案例：&
Golang 并发编程指南
j简说Linux的博客
11-09 909
简单调度图如上，有关于 P 再多个 M 中切换，公共 goroutine 队列，M 从线程缓存中创建等步骤没有体现，复杂过程可以参考文章简单了解。我们可以再每个 CPU 上进行循环无关的迭代计算，我们仅需要创建完所有的 goroutine 后，从 channel 中读取结束信号进行计数即可。这东西可以并发读，不可以并发读写/并发写写，不过现在即便场景是读多写少也很少用到这，一般集群环境都得分布式锁了。关系如图，灰色的 G 则是暂时还未运行的，处于就绪态，等待被调度，这个队列被 P 维护。
记一次go协程读写锁 sync.RWMutex未释放导致其他协程阻塞bug
知其然而后知其所以然
12-13 712
golang 协程 读写锁 sync.RWMutex 锁等待 并发
浅聊golang的并发设计
long_zhang2的博客
04-15 147
Golang的并发
腾讯开发工程师分享：一起go routine 泄漏问题的排查
weixin_43298663的博客
02-21 748
　　作者：yanhengwang，腾讯 PCG 开发工程师 　　在 golang 中创建 goroutine 是一件很容易的事情，但是不合理的使用可能会导致大量 goroutine 无法结束，资源也无法被释放，随着时间推移造成了内存的泄漏。避免 goroutine 泄漏的关键是要合理管理 goroutine 的生命周期，通过导出 runtime 指标和利用 pprof 可以发现和解决 goroutine 泄漏问题。 　　笔者维护了一个通过 SSH 连接到目标机器并执行命令的服务，这是一个内部小服务，..
面试题：Go协程泄漏原因及解决方法
最新发布
Faya__的博客
05-07 944
协程泄漏(Goroutine Leakage)是指那些已经没有任何用处（不再被使用或者无法到到达其执行路径），但由于某些原因未被收回的goroutine。这些泄漏的goroutine占用内存资源，可能会随着程序运行时间的增长而累积，最终导致内存耗尽或者程序性能下降。
go runtime.malg导致的内存泄漏
wuyuhao13579的博客
10-14 2821
最近在压测我们的服务，发现流量超过服务承受的极限后，出现协程暴涨，内存暴涨，延时大大增加的现象，但是把压测流量停止之后，携程数量会恢复正常，内存却恢复不了，利用pprof采集了一下，如下图所示：![在这里插入图片描述](https://img-blog.csdnimg.cn/20201014174407564.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubm
golang开发中安全问题
swan_tang的博客
12-23 2790
golang开发中安全问题 之前有人分享的github上的go开发安全文档，感觉总结的很不错，可以直接点击看 GO安全指南 具体地址： https://github.com/Tencent/secguide/blob/main/Go%E5%AE%89%E5%85%A8%E6%8C%87%E5%8D%97.md#2.1.9 在这里写几个常见的问题。 1, 切片长度校验 在对slice进行操作时，必须判断长度是否合法，防止程序panic; 2, nil指针判断 进行指针操作时，必须判断该指针是否为nil，防
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值