一款功能强大的网络资源爬取工具

工具介绍

Uscrapper是一款功能强大的网络资源爬取工具，该工具可以帮助广大研究人员从各种网络资源中轻松高效地提取出有价值的数据，并且提供了稳定、友好且易于使用的UI界面，是安全研究人员和网络分析人员的强有力工具。

Uscrapper最大程度地释放了开源情报资源的力量，该工具能够深入挖掘广阔互联网中的各类资源，并解锁了新级别的数据提取能力，能够探索互联网中的未知领域，支持使用关键字提取模型精确发现隐藏的数据。

除此之外，Uscrapper还支持通过超链接或非超链接的形式获取丰富的目标用户数据，并利用多线程和先进的功能模块完成复杂的反数据爬取绕过，最终生成全面的数据报告来对提取到的数据进行组织和分析，将原始数据转换为可直接利用的有价值信息。

工具支持提取的数据

当前版本的Uscrapper支持从目标站点中提取出下列信息：

• 电子邮件地址：显示目标站点中发现的电子邮件地址；

• 社交媒体链接：显示从目标站点发现的各类社交媒体平台链接；

• 作者名称：显示跟目标站点相关的作者名称；

• 地理位置信息：显示跟目标站点相关的地理位置信息；

• 非超链接详情：显示在目标站点上找到的非超链接详细信息，包括电子邮件地址、电话号码和用户名；

• 基于关键字提取：通过指定属于或关键字列表提取和显示相关数据；

• 深网支持：支持处理.onion站点并提取关键信息；

工具安装（Unix/Linux）

由于该工具基于Python开发，因此我们首先需要在本地设备上安装并配置好Python环境。

接下来，广大研究人员可以直接使用下列命令将该项目源码克隆至本地：

git clone https://github.com/z0m31en7/Uscrapper.git

然后切换到项目目录中，给工具安装脚本提供可执行权限，并执行安装脚本：

cd Uscrapper/install/``chmod +x ./install.sh && ./install.sh

工具使用

我们可以按照下列命令格式运行Uscrapper：

python Uscrapper-vanta.py [-h] [-u URL] [-O] [-ns] [-c CRAWL] [-t THREADS] [-k KEYWORDS [KEYWORDS ...]] [-f FILE]

命令参数

• -u URL, --url URL：目标站点的URL地址；

• -O, --generate-report：生成报告；

• -ns, --nonstrict：显示非严格的用户名（可能结果会不准确）；

• -c CRAWL, --crawl：指定在同一范围内爬网和抓取的最大链接数；

• -t THREADS, --threads THREADS：要使用的爬取线程数量，默认为4；

• -k KEYWORDS [KEYWORDS …], --keywords KEYWORDS [KEYWORDS …]：要查询的关键字（空格间隔参数）；

• -f FILE, --file FILE：包含关键字的文本文件路径；

运行截图

项目地址

https://github.com/z0m31en7/Uscrapper

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

1.学习路线图

攻击和防守要学的东西也不少，具体要学的东西我都写在了上面的路线图，如果你能学完它们，你去就业和接私活完全没有问题。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等，都是网络安全入门必知必会的学习内容。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享

3.技术文档和电子书

技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本，由于内容的敏感性，我就不一一展示了。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等，感兴趣的同学不容错过。

还有我视频里讲的案例源码和对应的工具包，需要的话也可以拿走。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享

最后就是我这几年整理的网安方面的面试题，如果你是要找网安方面的工作，它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的，如果大家有好的题目或者好的见解欢迎分享。

参考解析：深信服官网、奇安信官网、Freebuf、csdn等

内容特点：条理清晰，含图像化表示更加易懂。

内容概要：包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

CSDN大礼包：《黑客&网络安全入门&进阶学习资源包》免费分享