使用自己写的host碰撞程序https://github.com/alwaystest18/hostCollision 进行大量目标碰撞时,发现程序跑一会后网络就频繁超时,即使把线程数调到1也是如此,于是就想着看下其他存在大量http请求的程序是如何做的,首先想到了httpx,正好还有源码分析的文章projectdiscovery之httpx源码学习 - 先知社区
扫了一眼很快就看到httpx使用了https://github.com/remeh/sizedwaitgroup 做并发处理,于是顺带查了下这个库,在Golang 并发之锁 文章中作者提到"sync.WaitGroup没有办法指定最大并发协程数,在一些场景下会有问题",看起来很有可能就是我的程序中的问题,于是马上做了修改,修改方法很简单,引入库之后把之前的
var wg sync.WaitGroup
修改为
var wg sizedwaitgroup.SizedWaitGroup = sizedwaitgroup.New(100) //限制协程数为100
修改之后再跑程序果然稳定了,在此记录一下
通过分析httpx源码,发现了sizedwaitgroup库用于限制并发协程数,解决了自写host碰撞程序因大量请求导致的网络超时。将原sync.WaitGroup替换为SizedWaitGroup(限制为100个协程)后,程序运行变得稳定。
454

被折叠的 条评论
为什么被折叠?



