JSFinder工具
JSFinder是一款用作快速在网站的js文件中提取URL,子域名的工具。
提取URL的正则部分使用的是LinkFinder
JSFinder获取URL和子域名的方式:
用法:
简单爬取
python JSFinder.py -u http://www.xx.com
这个命令会爬取 http://www.xx.com 这单个页面的所有的js链接,并在其中发现url和子域名
返回示例:
深度爬取
python JSFinder.py -u http://www.mi.com -d
深入一层页面爬取JS,时间会消耗的更长。
建议使用-ou 和 -os来指定保存URL和子域名的文件名。 例如
python JSFinder.py -u http://www.mi.com -d -ou mi_url.txt -os mi_subdomain.txt
返回示例:
批量指定URL/指定JS
指定URL:
python JSFinder.py -f text.txt
指定JS:
python JSFinder.py -f text.txt -j
可以用brupsuite爬取网站后提取出URL或者JS链接,保存到txt文件中,一行一个。
指定URL或JS就不需要加深度爬取,单个页面即可。
其他
-c 指定cookie来爬取页面 例:
python JSFinder.py -u http://www.mi.com -c "session=xxx"
-ou 指定文件名保存URL链接 例:
python JSFinder.py -u http://www.mi.comcom -ou mi_url.
-os 指定文件名保存子域名 例:
python JSFinder.py -u http://www.mi.comcom -os mi_subdomain.
注意:
url 不用加引号
url 需要http:// 或 https://
指定JS文件爬取时,返回的URL为相对URL
指定URL文件爬取时,返回的相对URL都会以指定的第一个链接的域名作为其域名来转化为绝对URL。