python高并发无限采集域名

前言

渗透测试第一步是收集信息，找到和漏洞匹配的目标肯定美滋滋,那我们就先采集大量的域名然后再筛选。于是就有了这个项目。

先看下目前成果。

一个月的采集结果,只要服务器配置高一点,三个月至少能采集过亿的域名。

项目原理

利用python3异步asyncio+aiohttp 高并发采集网站内页链接+外链

内链采集写入link表中间,没有采集过的内链 mark=0,采集过的内链标识 mark=1。外链写入domain表中,没有采集过的mark=0,采集过的mark=1。

if 'http' in tag_a["href"] and domain not in tag_a["href"] and "." in tag_a["href"] : 
	out_change = parse