信息搜集工具使用

首先说明一下，本章节介绍的工具都很简单

layer子域名收集工具

---

如果要使用自定义字典，请把字典文件命名为dic，放到跟程序同目录下，程序会自动加载字典。

如果没有自定义字典，程序会自动使用内置字典，内置字典总共两万多条数据，内容包括了常用子域名，以及3000+常用单词和1-3位所有字母。

如果要爆破二级以下域名，可以直接填入要爆破的子域名，程序会自动拼接下一级子域。比如填入hi.baidu.com，程序会爆破 .hi.baidu.com下面的域

下载链接：https://pan.baidu.com/s/1HNyVrHC99o5HrPaTAUa1lw 提取码：qvmb

御剑目录爆破工具

---

和爬虫工具不一样的是，御剑是目录爆破，爬虫爬取url需要url之间的连接跳转，而目录爆破更见简单粗暴

下载链接：https://pan.baidu.com/s/1PgSBFcUm15ooNqnvkh4T3w 提取码：ttns

随便找个网站试一下

上面框框标起来的地方就是需要设置的地方，当然御剑好用与否，就看你的字典够不够强大了

JSFinder工具

---

JSFinder 网站js中提取URL,子域名的工具
JSFinder是一款用作快速在网站的js文件中提取URL，子域名的工具

下载地址：https://github.com/Threezh1/JSFinder

注意此脚本的使用离不开beautifulsoup模块的支持

简单爬取

python JSFinder.py -u http://www.mi.com

这个命令会爬取http://www.mi.com这两个页面的所有的js链接，并在其中发现url和子域名

返回示例：

url:http://www.mi.com                                         
Find 50 URL:                                                  
http://api-order.test.mi.com                                  
http://api.order.mi.com                                       
http://userid.xiaomi.com/userId                               
http://order.mi.com/site/login?redirectUrl=                                                   
...已省略                            
                                                              
Find 26 Subdomain:                                            
api-order.test.mi.com                                         
api.order.mi.com                                              
userid.xiaomi.com                                             
order.mi.com                                                                                              
...已省略

深度爬取

python JSFinder.py -u http://www.mi.com -d

深入一层页面爬取JS，时间会消耗的剩余。

建议使用-ou和-os来指定保存URL和子域名的文件名。

python JSFinder.py -u http://www.mi.com -d -ou mi_url.txt -os mi_subdomain.txt

#这是我最喜欢用的命令

 批量指定URL /指定JS

指定URL：

python JSFinder.py -f text.txt

指定JS：

python JSFinder.py -f text.txt -j

可以用brupsuite爬取网站后提取出URL或JS链接，保存到txt文件中，一行一个

指定的URL或JS就不需要加深度爬取，分开页面即可

其他

-ou指定文件名保存URL链接例：

python JSFinder.py -u http://www.mi.com -ou mi_url.txt

-os指定文件名保存子域名例：

python JSFinder.py -u http://www.mi.com -os mi_subdomain.txt

 注意

url不用加引号

网址需要http：//或https：//

指定JS文件爬取时，返回的URL为相对URL

指定URL文件爬取时，返回的相对URL都会以指定的第一个链接的域名作为其域名来转化为绝对URL。