Scavenger：可在不同Paste站点爬取用户泄露凭证的实用工具

今天给大家介绍的这款功能强大的开源工具名叫Scavenger，在该工具的帮助下，广大安全研究人员可以在不同的Paste站点上使用爬虫（Bot）来搜索用户泄露的凭证信息。

Scavenger

自动化Snyk基于下列扫描结果：【已知漏洞】

处于活动状态的Bot：【Bot in action】

工具介绍

平时，本人喜欢自己写一些Bot代码来作为自己的OSINT项目工具，在这个项目中，我整合了大量代码，并能够从不同的Paste站点中收集用户泄露的敏感信息。中国菜刀

支持搜索的内容：

1、 用户凭证

2、 RSA私钥

3、 WordPress配置文件

4、 MySQL连接字符串

5、 Onion链接

6、 Onion内网文件链接（PDF、DOC、DOCX、XLS、XLSX）

这里需要提醒大家一下：

1、 Scavenger所使用的bot目前并不是非常完美，因为该项目的代码编写得比较仓促，因为“时间紧任务重”，而且很多编码细节也没能考虑周全，但之后我会慢慢修改这些东西。

2、 项目代码目前还没编写完成，之后还会添加更多的功能，比如说凭证数据库，以及很多整合的第三方库。

3、 如果你想使用本项目的代码，大家可以随意使用，而且大家也可以根据自己的需要来自定义开发。

4、 本工具仍存在一定假阳性，也就是有些凭证可能会无法正常获取，欢迎大家贡献自己的代码噢！

运行机制

Bot能够以下列两种主要模式运行：

1、 API模式

2、 爬取模式（使用TOR）

 

我强烈建议大家使用API模式，因为这种方法非常适用于针对Pastebin.com来爬取Paste内容，而且准确率非常高。我们要做的就是申请一个Pastebin.com专业版(Pro)账号，然后在网站白名单列表中添加你的公共IP。

运行下列命令即可以API模式运行Scavenger：奇热影视​​​​​​​

python run.py -0

注意：我们还有NAT模式可以使用，这种模式就不需要设置IP地址白名单了。

如果你想以爬取模式运行Bot的话，可以使用下列命令：

python run.py -1

注意：你需要在系统上安装TOR服务并监听端口9050。除此之外，你还需要在/etc/tor/torrc文件中添加下列参数：

MaxCircuitDirtiness 30

工具使用

如果你想了解更多工具使用信息，你可以使用-h/–help参数来运行Scavenger：​​​​​​​

python run.py –h

输出结果如下：

目前，我只实现了Pastebin.com模块，现在正在开发针对Paste.org的模块，之后会及时更新脚本内容。

使用下列命令即可开启Pastebin.com模块：

python P_bot.py

爬取到的Paste会存储在data/raw_pastes中，直到数量超过48000为止。超过之后，工具会对爬取到的数据进行过滤和压缩，并移植对应目录中。所有包含了用户凭证的的Paste数据都会存储在data/files_with_passwords中。数据格式如下：

USERNAME:PASSWORD

当然了，我们还可以使用Scavenger的getProxyLogs.py文件来搜索代理日志（包含了用户名和密码对的URL）：

python getProxyLogs.py data/raw_pastes

如果你想搜索特定字符串相关的元数据，你可以使用searchRaw.py（速度较慢）：

python searchRaw.py SEARCHSTRING

使用下列命令可以查看Bot的统计数据：

python status.py

findSensitiveData.py脚本还可以搜索类似信用卡数据、RSA密钥或mysqli_connect字符串，脚本使用的是grep命令，因此对于大型文件的爬取速度会相对较慢。如果你想分析大量Paste的话，我建议你使用ELK-Stack。

python findSensitiveData.py data/raw_pastes

Scavenger还提供了两个脚本：stalk_user.py和stalk_user_wrapper.py，来帮助用户监控特定的Twitter用户。此时，该用户所有发布的推文都会被我们存储下来，而且每一个下载的URL也会被我存储下来。

python stalk_user_wrapper.py

项目地址

Scavenger：【GitHub传送门】

参考资料

1、 https://jakecreps.com/2019/05/08/osint-collection-tools-for-pastebin/

2、 https://jakecreps.com/2019/01/08/scavenger/