golang多线程大量http请求越跑网速越慢的一种解决方法

通过分析httpx源码,发现了sizedwaitgroup库用于限制并发协程数,解决了自写host碰撞程序因大量请求导致的网络超时。将原sync.WaitGroup替换为SizedWaitGroup(限制为100个协程)后,程序运行变得稳定。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

使用自己写的host碰撞程序https://github.com/alwaystest18/hostCollision 进行大量目标碰撞时,发现程序跑一会后网络就频繁超时,即使把线程数调到1也是如此,于是就想着看下其他存在大量http请求的程序是如何做的,首先想到了httpx,正好还有源码分析的文章projectdiscovery之httpx源码学习 - 先知社区

扫了一眼很快就看到httpx使用了https://github.com/remeh/sizedwaitgroup 做并发处理,于是顺带查了下这个库,在Golang 并发之锁 文章中作者提到"sync.WaitGroup没有办法指定最大并发协程数,在一些场景下会有问题",看起来很有可能就是我的程序中的问题,于是马上做了修改,修改方法很简单,引入库之后把之前的

var wg sync.WaitGroup

  修改为  

var wg sizedwaitgroup.SizedWaitGroup = sizedwaitgroup.New(100)   //限制协程数为100

修改之后再跑程序果然稳定了,在此记录一下

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值