centos配置crawlergo动态爬虫+xray代理模式联动扫描

最新推荐文章于 2024-04-25 09:39:49 发布
最新推荐文章于 2024-04-25 09:39:49 发布
阅读量1.9k 收藏 3
点赞数 2
分类专栏： 程序配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/susu_xi/article/details/107771863
版权
本文档介绍了如何在CentOS系统中使用Crawlergo动态爬虫配合xRay代理模式进行网站扫描。首先，详细列出了所需工具包括Crawlergo和xRay。接着，详述了配置步骤，包括xRay的下载安装、CA证书生成与安装、限制设置，以及Crawlergo的安装和依赖处理。然后，提到了将Crawlergo与xRay结合使用的方法。在过程中，遇到的问题如Crawlergo扫描限制、依赖库缺失及证书安装问题也进行了记录和解决方法的说明。
摘要由CSDN通过智能技术生成

用到的3个工具

  1. 动态爬虫工具 crawlergo
  2. xray
  3. crawlergo_x_XRAY将crawlergo扫描结果请求到xray进行被动扫描

配置步骤

  • 下载安装xray最新的release
  1. 生成ca证书。运行成功后得到ca.crt 和 ca.key 两个文件。
# windows
.\xray_windows_amd64.exe genca

# macOS/linux
./xray_darwin_amd64 genca
  1. 安装ca证书。
# ubantu
sudo cp ca.crt /usr/local/share/ca-certificates/xray.crt
sudo update-ca-certificates
最低0.47元/天 解锁文章
susu_xi
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
xray+crawlergo扫描器安装指导
Amdy_amdy的博客
08-24 3804
360 0Kee-Team 的 crawlergo动态爬虫 结合 长亭XRAY扫描器的被动扫描功能 crawlergo crawlergo是一个使用chrome headless模式进行URL入口收集的动态爬虫。 使用Golang语言开发，基于chromedp进行一些定制化开发后操纵CDP协议，对整个页面关键点进行HOOK，灵活表单填充提交，完整的事件触发，尽可能的收集网站暴露出的入口。同时，依靠智能URL去重模块，在过滤掉了大多数伪静态URL之后，仍然确保不遗漏关键入口链接，大幅减少重复任务。 ..
一款时下流行的超级爬虫框架crawlergo
wangqingliang2012的博客
11-25 1687
一款时下超流行的爬虫框架
Xray联动crawlergo自动扫描漏洞教程
wutiangui的博客
10-22 495
然后本地开始使用xray监听127.0.0.1:7777，脚本编写默认监听7777端口，联动本质为通过脚本将crawlergo爬去的目标数据发送给正在监听的xray，然后实现目标的漏洞检查；xray下载: https://github.com/chaitin/xray/releases。把目标url写进targets.txt,一行一个url。将launcher.py里的路径改为自己谷歌的路径。执行后xray开始漏洞扫描，可以发现已经扫到漏洞。xray和crawlergo联动。三、启动crawlergo。
对于crawlergo|rad|burpsuite|awvs爬虫的对比
01-26 3523
前言 最近在写代码，涉及了web爬取链接的方面，在百度过程中了解到了这篇文章：superSpider,突然就好奇平时常见的爬虫 工具和扫描器里的爬虫模块能力如何，所以来测试下。 主要测试1个自己手写的瞎眼爬虫，还有crawlergo、rad、burpsuite pro v202012、awvs 2019 文章里推荐的http://demo.aisec.cn/demo/站点打不开了所以就使用awvs的了； 测试站点：http://testphp.vulnweb.com 一 手写的基准爬虫 只抓取a
crawlergo:用于网络漏洞扫描器的强大浏览器爬虫
07-24
crawlergo A powerful browser crawler for web vulnerability scanners crawlergo是一个使用chrome headless模式进行URL入口收集的浏览器爬虫。 使用Golang语言开发，基于 进行一些定制化开发后操纵CDP协议，对整个页面关键点进行HOOK，灵活表单填充提交，完整的事件触发，尽可能的收集网站暴露出的入口。同时，依靠智能URL去重模块，在过滤掉了大多数伪静态URL之后，仍然确保不遗漏关键入口链接，大幅减少重复任务。 crawlergo 目前支持以下特性： 原生浏览器环境，协程池调度任务 表单智能填充、自动化提交 完整DOM事件收集，自动化触发 智能URL去重，去掉大部分的重复请求 全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz 支持Host绑定，自动添
CrawlerGo：高效、灵活的Go语言爬虫框架
最新发布
gitblog_00007的博客
04-25 387
CrawlerGo：高效、灵活的Go语言爬虫框架 项目地址:https://gitcode.com/0Kee-Team/crawlergo 项目简介 CrawlerGo 是一个由0Kee团队开发的、基于Go语言的网络爬虫框架。它旨在提供一个易于上手、高度可扩展且性能优良的工具，帮助开发者快速构建自己的网页抓取和数据挖掘应用。 技术分析 CrawlerGo的设计原则是模块化和灵活性。它采用了事件驱动...
在阿里云服务器上配置CentOS+Nginx+Python+Flask环境
09-21
本教程将详细介绍如何在阿里云服务器上配置一个CentOS系统，然后安装Nginx作为反向代理服务器，以及Gunicorn作为WSGI服务器，最后集成Python和Flask来实现一个完整的Web服务环境。 首先，确保你的阿里云服务器是...
实验：CentOS7配置Python爬虫环境.docx
02-09
实验：CentOS7配置Python爬虫环境.docx，该实验给出了配置Python爬虫环境的详细过程，每一步骤都有文字说明和截图 一、实验目的：熟悉爬虫和Python常用爬虫库，在CentOS7上掌握用于存储爬取的数据的MySQL、MongoDB...
centos操作系统安装postgresql+postgis部署配置
03-03
可利用里面文件离线在linux（centos）操作系统中顺利安装部署，本资源可在半小时内完成各种配置，简单方便，并通过了几台服务器环境测试。 基于pg库进行地理空间数据存储的开源数据库技术方案，只有正确安装改库...
CentOS 6.3安装配置nginx+php+mysql
09-10
主要给大家介绍的是CentOS 6.3安装配置LNMP服务器(Nginx+PHP+MySQL)的详细步骤以及遇到问题的解决方法，希望大家能够喜欢
自动扫描仪：自动化爆破子域名，并遍历所有端口查找http服务，并使用crawlergo，dirsearch，xray等工具进行扫描并集成报告；支持动态添加扫描到的域名至任务；
03-04
自动扫描仪 自动扫描仪是什么 AutoScanner是一种自动化扫描器，其功能主要是遍历所有子域名，及遍历主机所有端口查找出所有http服务，并使用集成的工具进行扫描，最后集成扫描报告；工具目前有：oneforall，masscan，nmap，crawlergo，dirsearch，xray，awvs，whatweb等 是之前的重构版本； 自动扫描仪做了什么 自动下载项目所需要的工具 使用oneforall遍历子域名 使用masscan遍历主机所有开放端口 使用nmap扫描开放端口；获取所有http服务端口 使用crawlergo进行扫描 动态添加crawlergo扫描到的域名至任务清单 使用dirsearch进行目录文件扫描 扫描到的目录，文件传递到xray 使用xray进行被动扫描 扫描结束后生成两份报告，xray和所有工具集成的一份报告 ... 另外，在各个工具直接完成很多逻辑处理，
crawlergo使用chrome headless模式进行URL收集的浏览器爬虫
01-20
crawlergo是一个使用chrome headless模式进行URL收集的浏览器爬虫。它对整个网页的关键位置与DOM渲染阶段进行HOOK，自动进行表单填充并提交，配合智能的JS事件触发，尽可能的收集网站暴露出的入口。内置URL去重模块，过滤掉了大量伪静态URL，对于大型网站仍保持较快的解析与抓取速度，最后得到高质量的请求结果集合。 crawlergo 目前支持以下特性： 原生浏览器环境，协程池调度任务 表单智能填充、自动化提交 完整DOM事件收集，自动化触发 智能URL去重，去掉大部分的重复请求 全面分析收集，包括javascript文件内容、页面注释、robots.txt文件和常见路径Fuzz 支持Host绑定，自动添加Referer 支持请求代理，支持爬虫结果主动推送
Xray安装与使用
热门推荐
Poolhuang的博客
05-13 1万+
1、简介 xray是从长亭洞鉴核心引擎中提取出的社区版漏洞扫描神器，支持主动、被动多种扫描方式，自备盲打平台、可以灵活定义 POC，功能丰富，调用简单，支持 Windows / macOS / Linux 多种操作系统，可以满足广大安全从业者的自动化 Web 漏洞探测需求。 2、下载地址 根据自己系统环境下载相应版本； https://github.com/chaitin/xray/releases 3、安装 Windows系统最好在Powellshell下运行，先cd到xray目录下然后再运行
rad+xray漏洞扫描工具
qq_46258964的博客
02-13 8470
rad全名 Radium rad也为长亭科技开发的一款目录爬取工具， 所以结合rad可以更高效的自动爬取。注意rad只是爬取目标的目录，不爬取子域。 下载地址 https://github.com/chaitin/rad 基本使用 要提前安装好谷歌浏览器，才能使用该工具。 rad -t http://example.com 需要手动登录的情况 rad -t http://example.com -wait-login 执行以上命令会自动禁用无头浏览模式，开启一个浏览器供手动登录。 在登录完毕后在命令行界
【毕设扫描器】【动态爬虫】CrawlerGo源码分析1：主文件cli库的使用
soldi_er的博客
03-24 1077
文章目录配置运行参数main函数1：cli结构介绍和简单使用结合源码分析cli 库的定义：75-258行（大体完成阅读）cli库代码的漏网之鱼自定义主方法run()： 配置运行参数 入口文件：根据项目提供的编译命令找到入口文件 crawlergo_cmd.go。 入口函数：找到65行的 func main()函数，在主函数的代码中下断点。 配置：添加程序实参 （chrome程序路径必须加引号，否则会报错：navigate timeout http://127.0.0.1/upload-labs-master
集成crawlergo和xray的src漏洞挖掘利器（hscan）
lza20001103的博客
08-27 494
集成crawlergo和xray的src漏洞挖掘利器（hscan） 文章目录集成crawlergo和xray的src漏洞挖掘利器（hscan）0x01 hscan介绍1 hscan是什么2 hscan做了哪些3 hscan流程图![在这里插入图片描述](https://img-blog.csdnimg.cn/db524dfc9c0b40fbb6f8901bf3fea6c3.png)0x02 hscan使用1 拉取代码并创建docker2 在目录下执行命令，或直接执行docker_run.sh3 扫描完毕后需
自动化渗透测试工具开发实践
m0_71746299的博客
02-20 1751
为了提高安全服务项目的检测效率、规范性、全面性，Tide安全团队结合在渗透测试行业的经验和安全开发方面的积累，开发了一款自动化渗透测试工具。该工具使用Golang开发为CS架构，集“资产探测-服务识别-爬虫-被动监测-漏洞扫描-POC检测-截屏-报告”于一体，适合甲方或乙方安服团队对目标系统进行全面的安全检测并输出报告。本文主要介绍一下该工具的框架及部分实现思路。
W13scan与Crawlergo爬虫结合
m0_47571887的博客
10-26 565
前言： 发现一个爬虫器Crawlergo，试了试能不能与Xray和Wbscan使用 准备工作： 系统：Windows 工具：Wbscan、Crawlargo、Xray、Chromium(google开发的开源浏览器) W13scan 是基于Python3的一款开源的Web漏洞发现工具,它支持主动扫描模式和被动扫描模式,能运行在Windows、Linux、Mac上。 PS：https://github.com/w-digital-scanner/w13scan 在W13scan根目录cmd ..
一键漏扫工具 -- Crawlergo_x_Rad_x_XRAY
weixin_58782362的博客
09-29 805
配置好并启动xray被动扫描(脚本默认配置为127.0.0.1:7777)若修改端口请同时修改launcher.py文件中的proxies。因为这个项目已经被人改好了，下面这个就不用输入了，只是单独使用作为提示。生成的sub_domains.txt为爬虫爬到的子域名, crawl_result.txt为爬虫爬到的url。唯一需要一点注意的就是在xray中安装一个xray.exe，按那个txt文件写的做。把目标url写进targets.txt,一行一个url。
CentOS7上配置Pacemaker+Corosync+DRBD实现高可用集群指南
"在CentOS7上配置Pacemaker+Corosync+DRBD主从/双主集群，实现高可用性环境" Pacemaker是Linux系统中的一个集群资源管理器，用于管理和协调集群中的服务和资源，确保在节点故障时能够自动转移服务，从而提供高可用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值