Uscrapper：一款功能强大的网络资源爬取工具

关于Uscrapper

Uscrapper是一款功能强大的网络资源爬取工具，该工具可以帮助广大研究人员从各种网络资源中轻松高效地提取出有价值的数据，并且提供了稳定、友好且易于使用的UI界面，是安全研究人员和网络分析人员的强有力工具。

Uscrapper最大程度地释放了开源情报资源的力量，该工具能够深入挖掘广阔互联网中的各类资源，并解锁了新级别的数据提取能力，能够探索互联网中的未知领域，支持使用关键字提取模型精确发现隐藏的数据。

除此之外，Uscrapper还支持通过超链接或非超链接的形式获取丰富的目标用户数据，并利用多线程和先进的功能模块完成复杂的反数据爬取绕过，最终生成全面的数据报告来对提取到的数据进行组织和分析，将原始数据转换为可直接利用的有价值信息。

→点击获取网络安全资料·攻略←

200多本网络安全系列电子书
网络安全标准题库资料
项目源码
网络安全基础入门、Linux、web安全、攻防方面的视频
网络安全学习路线图

 

支持提取的数据

当前版本的Uscrapper支持从目标站点中提取出下列信息：

1、电子邮件地址：显示目标站点中发现的电子邮件地址；

2、社交媒体链接：显示从目标站点发现的各类社交媒体平台链接；

3、作者名称：显示跟目标站点相关的作者名称；

4、地理位置信息：显示跟目标站点相关的地理位置信息；

5、非超链接详情：显示在目标站点上找到的非超链接详细信息，包括电子邮件地址、电话号码和用户名；

6、基于关键字提取：通过指定属于或关键字列表提取和显示相关数据；

7、深网支持：支持处理.onion站点并提取关键信息；

工具安装-Unix/Linux

由于该工具基于Python开发，因此我们首先需要在本地设备上安装并配置好Python环境。

接下来，广大研究人员可以直接使用下列命令将该项目源码克隆至本地：

git clone https://github.com/z0m31en7/Uscrapper.git

然后切换到项目目录中，给工具安装脚本提供可执行权限，并执行安装脚本：

cd Uscrapper/install/

chmod +x ./install.sh && ./install.sh      

工具使用

我们可以按照下列命令格式运行Uscrapper：

python Uscrapper-vanta.py [-h] [-u URL] [-O] [-ns] [-c CRAWL] [-t THREADS] [-k KEYWORDS [KEYWORDS ...]] [-f FILE]

命令参数

-u URL, --url URL：目标站点的URL地址；

-O, --generate-report：生成报告；

-ns, --nonstrict：显示非严格的用户名（可能结果会不准确）；

-c CRAWL, --crawl：指定在同一范围内爬网和抓取的最大链接数；

-t THREADS, --threads THREADS：要使用的爬取线程数量，默认为4；

-k KEYWORDS [KEYWORDS ...], --keywords KEYWORDS [KEYWORDS ...]：要查询的关键字（空格间隔参数）；

-f FILE, --file FILE：包含关键字的文本文件路径；

工具运行截图

网络安全学习资源分享:

给大家分享一份全套的网络安全学习资料，给那些想学习 网络安全的小伙伴们一点帮助！

对于从来没有接触过网络安全的同学，我们帮你准备了详细的学习成长路线图。可以说是最科学最系统的学习路线，大家跟着这个大的方向学习准没问题。

因篇幅有限，仅展示部分资料，朋友们如果有需要全套《网络安全入门+进阶学习资源包》，需要点击下方链接即可前往获取 

读者福利 | CSDN大礼包：《网络安全入门&进阶学习资源包》免费分享（安全链接，放心点击）

同时每个成长路线对应的板块都有配套的视频提供： 

大厂面试题

 

视频配套资料&国内外网安书籍、文档

当然除了有配套的视频，同时也为大家整理了各种文档和书籍资料

所有资料共282G，朋友们如果有需要全套《网络安全入门+进阶学习资源包》，可以扫描下方二维码或链接免费领取~ 

读者福利 | CSDN大礼包：《网络安全入门&进阶学习资源包》免费分享（安全链接，放心点击） 

特别声明：

此教程为纯技术分享！本教程的目的决不是为那些怀有不良动机的人提供及技术支持！也不承担因为技术被滥用所产生的连带责任！本教程的目的在于最大限度地唤醒大家对网络安全的重视，并采取相应的安全措施，从而减少由网络安全而带来的经济损失。