Cendertron,动态爬虫与敏感信息泄露检测
Cendertron = Crawler + Rendertron
Cendertron https://url.wx-coder.cn/HinPM 是基于 Puppeteer 的 Web 2.0 动态爬虫与敏感信息泄露检测工具。其依托于 xe-crawler 的通用爬虫、调度与缓存模型,新增了 Monkey Test 以及 Request Intercept 等特性,以期尽可能多地挖掘页面与请求。同时针对渗透测试的场景,Cendertron 内置了目录扫描、敏感文件扫描的能力,能够模拟用户实际在浏览器登录状态下的自定义字典爆破。Cendertron 在大量实践的基础上设置了自身的去重策略,能够尽可能地避免重复爬取,加快扫描速度。Cendertron 同时也是正在闭源开发的 Chaos-Scanner 模块化安全扫描解决方案的一部分,为基础扫描与智能扫描提供前置输入。
Usage | 使用
Locally Development | 本地开发
在本地开发中,我们只需要如正常的 Node 项目一样启动,其会使用 Puppeteer 内置的 Headless Chrome 来执行界面渲染操作:
$ git clone https://github.com/wx-chevalier/Chaos-Scanner
$ cd cendertron
$ yarn install
$ npm run dev
启动之后可以按提示打开浏览器界面:
这里我们可以以 DVWA 作为测试目标,在输入框内输入 http://localhost:8082/
然后执行爬取,即可得到如下结果:
{
"isFinished": true,
"metrics": {
"executionDuration": 116177,
"spiderCount": 51,
"depth": 4
},
"spiderMap": {
"http://localhost:8082/vulnerabilities/csrf/": [
{
"url": "http://localhost:8082/vulnerabilities/view_source.php?id=csrf&security=low",
"parsedUrl": {
"host": "localhost:8082",
"pathname": "/vulnerabilities/