一文看懂Rad基础操作

前言

从有Rad开始就一直在使用，从开始使用便非常的惊喜，并在使用过程中产生了很多Rad的使用小技巧，一些官方描述不太清晰或者很少提及的地方我也在与开发者的请教中明了，所以希望借此文章将一些使用技巧分享给大家。

一、 Rad是什么？

rad，全名 Radium，名字来源于放射性元素——镭,
从一个URL开始，辐射到一整个站点空间。他是从企业版Xray中提取出的一款专为安全扫描而生的浏览器爬虫。由Golang写成，具有如下特点：

• 通过调用Chrome，可以智能爬取各种 Web2.0 网站，模拟人的行为进行点击、输入等，自动事件触发和表单填充，助力漏洞扫描更快一步
• 支持Windows，Linux，MacOS（包括M1芯片版）
• 支持手动登录网站后继续爬取
• 支持在爬取过程中对相似度高的页面进行去重，过滤静态文件、重复请求减少资源消耗
• 支持自由配置代理，UA等设置
• 支持为指定域名配置headers
• 支持多种输出，可选择输出域名，完整请求，JSON
• 支持自定义请求关键字/正则过滤，防止危险请求触发、意外登出
• 支持自定义并发控制，合理调配资源占用
• 支持自定义行为控制，限制单个页面中点击深度，点击次数、点击时间间隔、超时时间

二、安装Rad

下载地址

https://github.com/chaitin/rad/releases

自行下载对应版本的Rad即可

准备

安装最新版本的Chrome

Rad是没有图形化界面的，所以需要通过Powershell，cmd，shell等通过命令行调用。配置文件需要随意制定一个扫描目标后生成。

执行如下命令获取配置文件：

rad.exe -t http://example.com 各自系统命令有所不同

执行完成后应如下图

三、基础使用

首先使用rad.exe -h查看Rad本身自带的帮助信息

1.--target|-t|--url|-u

• 该参数都可以指定扫描目标，作用一样

2.--config|-c

• 该参数可指定使用哪个配置文件，当未使用该参数时默认rad_config.yml

3.--text-output|--text

• 指定输出模式为txt，且将导出基本结果，也就是只有请求类型与请求地址。
• 输入结果如图：

4.--full-text-output|--full

• 指定输出模式为txt，且将导出完整请求，也就是包括了请求头与请求体。
• 输入结果如下图：

5.--json-output|--json

• 指定输出模式为json，且将导出完整请求，也就是包括了请求头与请求体。
• 输出结果如下图：

6.--auto-index|--index

• 该参数需配合结果输出参数一起使用，他会检测到如果当前生成的结果文件已存在，便自动在结果文件的名称后面添加编号，不需要自己再修改生成文件的名称。
• 效果如图：

7.--http-proxy

• 设置代理服务器，需要注意，此处的原理为：Rad为调用起的Chrome设置了代理，而不是Rad本身使用代理。

8.--disable-headless

• 无头模式，又称为无界面启动，是指在调用Chrome做爬虫时不打开浏览器，而是使用浏览器的内核进行爬虫

• Rad在默认状态下是启用无头模式的，使用此参数可禁用无头模式，使其开启浏览器运行，观测爬取过程

• 无头模式的默认状态也可以在配置文件中修改

9.--log-level

• 指定输出等级，默认输出info，当级别高于info后，info将不被输出。
• 级别分为：debug, info, warn, error, fatal
• 效果如下图：

10.--no-banner

• 去掉banner信息
• 效果如图：

11.--wait-login

• 使用该参数会自动禁用无头浏览模式，开启一个浏览器供手动登录。在登录完毕后在命令行界面点击回车键继续爬取。注意需要登陆时请在配置文件中开启图片显示功能，否则会出现验证码不显示的现象

• 以下为登陆全流程

• 首先会开启一个空白界面，需要手动在地址栏输入要登陆的地址

• 响应完成后输入账号密码进行登录

• 登陆完成后进入主界面

• 这个时候回到shell界面点击回车即可继续爬取

四、Rad联动xray等其他工具

Rad与其他工具联动的原理基本一致，这里只选择三个工具作为演示

xray

• 社区版：设置上级代理为Xray监听地址 首选运行xray：

• xray webscan --listen 127.0.0.1:7777 --html-output proxy.html

• 运行rad：rad -t http://example.com -http-proxy 127.0.0.1:7777

• 高级版：对 Rad 进行了深度融合，下载后可以一键使用：

• xray webscan --browser-crawler http://example.com --html-output vuln.html

• 注意将Xray与Rad放于同一目录下

Burp Suite

• 使用burp作为上级代理，只需要将bp打开，然后将Rad的http-proxy设置为burp的代理端口即可

• burp的抓包打开后，就可以直接使rad暂停住，可以修改包的内容再发送。
• 也可以将intercept置为off，在HTTP history中查看发送与返回的数据包

• 如果需要再挂一层代理改变出网ip，只需要在Burp的User options中的Upstream Proxy Servers设置上层代理即可

W13scan

原理与xray一样，使用W13scan的被动扫描作为上级代理完成联动

• python3 w13scan.py -s 127.0.0.1:7778 --html # 端口可省略，默认为7778,开启–html即实时生成html报告
• rad -t http://example.com -http-proxy 127.0.0.1:7778

五、多目标扫描

由于Rad目前不支持多目标扫描，所以可以选择使用命令行的多命令执行完成多目标扫描的目的。

1.多条命令之间推荐使用;来执行，第一时因为linux的命令行与powershell都支持该符号分割，第二也是可以在上一条命令执行失败的情况下继续执行下一条命令，从而达到出现了问题也不影响后续的效果。

• 效果如下图：

2.目标少的时候还可以使用这种方式，但如果目标多了，使用脚本来生成命令会更为合适

• 如果需要Xray+Rad的批量主动扫描，可以使用timwhitez师傅写的脚本来实现。获取地址：Xray-Rad

• 如果只是生成一段命令，可以参考以下脚本，使用方式：python 1.py -r a.txt -o b.txt

import argparseimport timeparser = argparse.ArgumentParser()txtName = str(int(time.time())) + ".txt"parser.add_argument('-r',help='Enter the file you want to generate')parser.add_argument('-o', type=str, default=txtName, help='Please enter the name of the file you want to output. Default is '+txtName)args = parser.parse_args()f = open(args.r,'r')data = f.readlines()a = ""for i in data:a += "; .\\rad.exe -t {} --json abs.json --index".format(i.strip())f.close()f = open(args.o,"w")f.write(a)f.close()

• 这是目标文件：

• 这是生成结果：

• 具体想要生成出什么样的命令都可以再修改

配置文件解析

此处只对配置文件中描述的比较模糊的地方做一下详细说明，故不粘贴配置文件的全部内容

• exec_path: “”

• — 启动chrome的路径，正常安装了Chrome的就一般不需要填写

• disable_headless: true

• — 禁用无头模式，也就是禁用无界面启动。默认为禁用状态，修改为false后运行程序即可看到浏览器

• force_sandbox: false

• — 强制开启sandbox；为 false 时默认开启沙箱，但在容器中会关闭沙箱。为true时强制启用沙箱，可能导致在docker中无法使用。

• — 沙盒利用操作系统提供的安全性，允许不能对计算机做出持久性改变或者访问持续变化的信息的代码的执行。沙箱提供的架构和具体保证依赖于操作系统。

• proxy: “”

• — 代理配置，如果不想在命令行中每次都添加，可直接在此处添加

• *   
  
  
  •domain_headers:                   # 请求头配置:[]{domain,map[headerKey]HeaderValue}- domain: '*'                     # 为哪些域名设置header，glob语法headers: {}                     # 请求头，map[key]value
  

• — 该参数可以实现高度的自定义，并且可以设置多个domain，为每个不同的domain设置不同的headers

• — 拿space.bilibili.com来举例，当没有登陆的时候，访问该url会跳转至登陆界面。而当登陆后，该url会跳转至登陆用户的空间。所以如果想要爬取相关内容，又不想使用wait-login，就可以先登录，抓取cookie，然后此处设置cookie，会直接跳转到登录用户的空间

• — 还类似与这个漏洞，CVE-2021-29441，将UA设定成指定的内容，即可未授权访问admin的内容

• — 还有像一些webVPN，通过特定的cookie允许访问内网的内容，正常在没有cookie时无法访问。这个时候就可以对该域名添加指定cookie，从而实现让rad爬取内网资产的目的。

• element_filter_strength: 0

• — 过滤同站点相似元素强度，1-7取值，强度逐步增大，为0时不进行跨页面元素过滤

• — 在爬取过程中对相似度高的页面进行去重，过滤静态文件、重复请求减少资源消耗，可有效减少无用请求的输出。

• new_task_filter_config|request_send_filter_config|request_output_filter_config

• — 检查某个链接是否应该被加入爬取队列、某个请求是否应该被发送、输出

• — path_disallowed: [] # 不允许访问的路径, 支持的格式如: test、test

• — 拿这个参数举例子：

• 未修改时所爬取到的链接：

• 

• 添加不想被爬的路径：

• 

• 修改后的爬取结果：

输出文件的使用

Rad有三种输出模式，简易输出，全输出和Json输出，此处大概提一下一些简单的使用，也欢迎师傅们有更多更好的想法。

1.当使用–text 1.txt也就是简易输出的时候，可以选择将输出的文件中的GET与POST去掉，然后直接将该文件交给sqlmap来跑

• 当生成的txt比较大，或者是批量目标生成的txt合起来，就可以使用这样的命令进行批量检测python sqlmap.py -m 1.txt --smart --batch --random-agent --level 5

2.上述的使用容易出现POST请求不会被检测到的情况，所以可以使用Json格式进行输出，然后通过脚本实现对GET请求与POST请求的分离，使用多命令执行来实现精准匹配。

import argparseimport timeimport jsonimport base64parser = argparse.ArgumentParser()txtName = str(int(time.time())) + ".txt"parser.add_argument('-r',help='Enter the file you want to generate')parser.add_argument('-o', type=str, default=txtName, help='Please enter the name of the file you want to output. Default is '+txtName)args = parser.parse_args()f = open(args.r,'r')load_dict = json.load(f)f.close()a = ""for i in range(len(load_dict)):if load_dict[i]["Method"] == "GET":a += "; python sqlmap.py -u \"{}\" --smart --batch --random-agent --level 5".format(load_dict[i]["URL"])else:if "b64_body" in load_dict[i]:a += "; python sqlmap.py -u \"{}\" --data \"{}\" --smart --batch --random-agent --level 5".format(load_dict[i]["URL"],base64.b64decode(load_dict[i]["b64_body"]).decode("utf-8"))else:continuef = open(args.o,"w")f.write(a)f.close()

• 该脚本只是实例，可根据自己需求自行修改。
• 效果如下，为方便展示，将分号替换为回车：

map.py -u “{}” --data “{}” --smart --batch --random-agent --level 5".format(load_dict[i][“URL”],base64.b64decode(load_dict[i][“b64_body”]).decode(“utf-8”))else:continuef = open(args.o,“w”)f.write(a)f.close()

• 该脚本只是实例，可根据自己需求自行修改。
• 效果如下，为方便展示，将分号替换为回车：

[外链图片转存中…(img-JR6OnxTf-1696515033350)]

题外话

初入计算机行业的人或者大学计算机相关专业毕业生，很多因缺少实战经验，就业处处碰壁。下面我们来看两组数据：

2023届全国高校毕业生预计达到1158万人，就业形势严峻；

国家网络安全宣传周公布的数据显示，到2027年我国网络安全人员缺口将达327万。

一方面是每年应届毕业生就业形势严峻，一方面是网络安全人才百万缺口。

6月9日，麦可思研究2023年版就业蓝皮书（包括《2023年中国本科生就业报告》《2023年中国高职生就业报告》）正式发布。

2022届大学毕业生月收入较高的前10个专业

本科计算机类、高职自动化类专业月收入较高。2022届本科计算机类、高职自动化类专业月收入分别为6863元、5339元。其中，本科计算机类专业起薪与2021届基本持平，高职自动化类月收入增长明显，2022届反超铁道运输类专业（5295元）排在第一位。

具体看专业，2022届本科月收入较高的专业是信息安全（7579元）。对比2018届，电子科学与技术、自动化等与人工智能相关的本科专业表现不俗，较五年前起薪涨幅均达到了19%。数据科学与大数据技术虽是近年新增专业但表现亮眼，已跻身2022届本科毕业生毕业半年后月收入较高专业前三。五年前唯一进入本科高薪榜前10的人文社科类专业——法语已退出前10之列。

“没有网络安全就没有国家安全”。当前，网络安全已被提升到国家战略的高度，成为影响国家安全、社会稳定至关重要的因素之一。

网络安全行业特点

1、就业薪资非常高，涨薪快 2022年猎聘网发布网络安全行业就业薪资行业最高人均33.77万！

2、人才缺口大，就业机会多

2019年9月18日《中华人民共和国中央人民政府》官方网站发表：我国网络空间安全人才 需求140万人，而全国各大学校每年培养的人员不到1.5W人。猎聘网《2021年上半年网络安全报告》预测2027年网安人才需求300W，现在从事网络安全行业的从业人员只有10W人。

行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

1.学习路线图

行业发展空间大，岗位非常多

网络安全行业产业以来，随即新增加了几十个网络安全行业岗位︰网络安全专家、网络安全分析师、安全咨询师、网络安全工程师、安全架构师、安全运维工程师、渗透工程师、信息安全管理员、数据安全工程师、网络安全运营工程师、网络安全应急响应工程师、数据鉴定师、网络安全产品经理、网络安全服务工程师、网络安全培训师、网络安全审计员、威胁情报分析工程师、灾难恢复专业人员、实战攻防专业人员…

职业增值潜力大

网络安全专业具有很强的技术特性，尤其是掌握工作中的核心网络架构、安全技术，在职业发展上具有不可替代的竞争优势。

随着个人能力的不断提升，所从事工作的职业价值也会随着自身经验的丰富以及项目运作的成熟，升值空间一路看涨，这也是为什么受大家欢迎的主要原因。

从某种程度来讲，在网络安全领域，跟医生职业一样，越老越吃香，因为技术愈加成熟，自然工作会受到重视，升职加薪则是水到渠成之事。

黑客&网络安全如何学习

今天只要你给我的文章点赞，我私藏的网安学习资料一样免费共享给你们，来看看有哪些东西。

1.学习路线图

攻击和防守要学的东西也不少，具体要学的东西我都写在了上面的路线图，如果你能学完它们，你去就业和接私活完全没有问题。

2.视频教程

网上虽然也有很多的学习资源，但基本上都残缺不全的，这是我自己录的网安视频教程，上面路线图的每一个知识点，我都有配套的视频讲解。

内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等，都是网络安全入门必知必会的学习内容。

（都打包成一块的了，不能一一展开，总共300多集）

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

3.技术文档和电子书

技术文档也是我自己整理的，包括我参加大型网安行动、CTF和挖SRC漏洞的经验和技术要点，电子书也有200多本，由于内容的敏感性，我就不一一展示了。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

4.工具包、面试题和源码

“工欲善其事必先利其器”我为大家总结出了最受欢迎的几十款款黑客工具。涉及范围主要集中在 信息收集、Android黑客工具、自动化工具、网络钓鱼等，感兴趣的同学不容错过。

还有我视频里讲的案例源码和对应的工具包，需要的话也可以拿走。

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取
如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

最后就是我这几年整理的网安方面的面试题，如果你是要找网安方面的工作，它们绝对能帮你大忙。

这些题目都是大家在面试深信服、奇安信、腾讯或者其它大厂面试时经常遇到的，如果大家有好的题目或者好的见解欢迎分享。

参考解析：深信服官网、奇安信官网、Freebuf、csdn等

内容特点：条理清晰，含图像化表示更加易懂。

内容概要：包括 内网、操作系统、协议、渗透测试、安服、漏洞、注入、XSS、CSRF、SSRF、文件上传、文件下载、文件包含、XXE、逻辑漏洞、工具、SQLmap、NMAP、BP、MSF…

因篇幅有限，仅展示部分资料，需要点击下方链接即可前往获取

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！