前提要求,安装URLFinder需要安装go语言
(connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.错误)在文章末尾
1.URLFinder 安装:
git地址:
1.在git上面下载压缩包
解压到当前文件夹即可。
点击解压好的文件夹,会出现一样名字的文件夹,再点击进去。
2.URLFinder的配置(略有复杂,报错几乎都在这里)
1.首先在当前文件夹打开cmd,直接输入cmd会跳转到cmd.go,需要再次当cmd.go的文件下打开cmd
但是我们的目标是上一个文件夹,所以要cd到我们需要去的文件夹
注:这里cd .. 或者cd \cmd前面的文件名都可以跳转过去
2.配置依赖
go build -o URLFinder
直接配置的话会发现有一个报错,说的是go.sum这个文件第22行有一个报错,所以我们要进入go.sum文件排除错误。
右键点击go.sum (可以选择记事本或者自己编程软件打开,哪个都可以),把最后一行删掉。
删掉之后在当前文件夹开启cmd,再次输入以下代码。这次会发现在文件夹下会生成一个名为URLFinder.exe文件。
go build -o URLFinder.exe
输入以下代码就可以使用了
URLFinder.exe -u http://www.xxxx.com(你要测试的网站名) -s all -m 3
以下是使用参数
-a 自定义user-agent请求头
-b 自定义baseurl路径
-c 请求添加cookie
-d 指定获取的域名,支持正则表达式
-f 批量url抓取,需指定url文本路径
-ff 与-f区别:全部抓取的数据,视为同一个url的结果来处理(只打印一份结果 | 只会输出一份结果)
-h 帮助信息
-i 加载yaml配置文件,可自定义请求头、抓取规则等(不存在时,会在当前目录创建一个默认yaml配置文件)
-m 抓取模式:
1 正常抓取(默认)
2 深入抓取 (URL深入一层 JS深入三层 防止抓偏)
3 安全深入抓取(过滤delete,remove等敏感路由)
-max 最大抓取数
-o 结果导出到csv、json、html文件,需指定导出文件目录(.代表当前目录)
-s 显示指定状态码,all为显示全部
-t 设置线程数(默认50)
-time 设置超时时间(默认5,单位秒)
-u 目标URL
-x 设置代理,格式: http://username:password@127.0.0.1:8877
-z 提取所有目录对404链接进行fuzz(只对主域名下的链接生效,需要与 -s 一起使用)
1 目录递减fuzz
2 2级目录组合fuzz
3 3级目录组合fuzz(适合少量链接使用)
注:
如果出现
connectex: A connection attempt failed because the connected party did not properly respond after a period of time, or established connection failed because connected host has failed to respond.错误
建议修改一下代理,可能是代理问题,我第一次下载遇到了这种情况,刚才演示却没有发生。
(如果有问题请大家帮我指点出来,谢谢)
代码如下(总共四步,四行代码):
1.设置代理
go env -w GOPROXY=https://goproxy.cn,direct
2.清除缓存并重新下载依赖:
go clean -modcache
go mod tidy
go build -o URLFinder.exe