使用domain-crawling爬取所有未注册的域名

作用

闲来无事,写个脚本,用来爬取[a-z0-9]范围内指定长度的域名的注册信息,将未注册的域名信息写入指定文件中,供兄弟们自己分析!

语言

作为一名javaer,这个脚本使用py开发。

使用

先将domain-crawling拉到本地

git clone https://gitee.com/ainilili/domain-crawling.git

进入目录中执行py脚本

cd domain-crawling

通过--help参数查看帮助

shell>> py domain-crawling.py -h
usage: domain-crawling.py [-h] [-p PATH] [-l LENGTH] [-o {y,n}] [-d DELAYED]

Nico domain name crawler script

optional arguments:
  -h, --help            show this help message and exit
  -p PATH, --path PATH  The available domain name storage path after
                        detection.
  -l LENGTH, --length LENGTH
                        The length of the domain you want to detect is all
                        combinations of a-z0-9.
  -o {y,n}, --openproxy {y,n}
                        Open the IP proxy mode.
  -d DELAYED, --delayed DELAYED
                        The interval between each climb, Unit s
  -s SUFFIX, --suffix SUFFIX
                       Domain suffix

直接启动脚本:

shell>> py domain-crawling.py

指定域名长度启动脚本:

shell>> py domain-crawling.py --length 4

这时爬取的域名长度是4(默认也是4),例如:

aaaa.com
bbbb.com
cccc.com

指定爬取的域名(例如cn)后缀:

shell>> py domain-crawling.py --suffix cn

如果要开启代理(默认关闭):

shell>> py domain-crawling.py--openproxy y

如果更改数据保存文件(默认是时间戳.txt):

shell>> py domain-crawling.py --path data1

设置爬取间隔时间(默认是0.1s)为0.5s:

shell>> py domain-crawling.py --delayed 0.5

注意

笔者使用的是data5u的爬虫代理,如果您哟啊开启代理模式,脚本中自带的orderId很可能早已失效,请自行注册然后使用,如果您有更好的代理,可以更改源码替换之。

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页