以上帝视角进行资产梳理

程序员负总裁

已于 2024-01-18 22:10:09 修改

阅读量251

点赞数

文章标签： android 智能手机网络安全

于 2023-08-27 08:32:13 首次发布

本文链接：https://blog.csdn.net/Innocence_0/article/details/132520039

版权

本文介绍了FOFA工具在资产攻击面梳理中的高效应用，通过辅助查找资产线索、自动聚合和元数据转化，提供上帝视角的资产梳理，对比其他工具如ChaosDb和OneForAll，显示FOFA在效率、数据质量和丰富度上有显著优势。

摘要由CSDN通过智能技术生成

背景痛点

资产攻击面梳理是FOFA的核心使用场景之一。无论是 甲方、乙方或者白帽子 的FOFA工程师们，攻击面梳理都是使用FOFA必不可少的技能。

但是在进行攻击面梳理的过程中，不管是查询语句的编写还是线索的收集都需要耗费大量的时间和精力，自己编写脚本用FOFA收集耗时又耗力，需要考虑准确性、实效性、数据清洗等很多问题，还需要具备一定的开发能力，往往又会出现时间紧任务重的情况，那么一种
高效率、以上帝视角 进行资产梳理的工具就是我们要探索的方向。

功能展示

我们直接通过视频直观感受一下这个全新的视角。

攻击面梳理流程

整体流程很快，我们把视频中的流程可以拆分为主要的三部分。

第一步：辅助用户完成资产线索的查找

根据主域名的搜索结果，将信息聚类由点到面、从0到1扩充结果。提取出了最容易产生线索信息的几个大类：证书组织、证书内所包含的域名、IP
C段、域名信息和ASN组织，并将它们进行聚类展示，直接向用户提供结果线索。

第二步：线索自动聚合，完成线索结果的整合

根据输入的线索，可以通过资产聚类的形式快速地提取其相关联的资产线索，不管是证书还是关联性极强的 IP C段
，我们通过添加线索即可。要注意的是，这些线索不单单可以作为聚合目标所使用，也可以作为 资产画像
存在，所以所有确认的线索都存储在左侧的线索框中，用户可以下载所有已选择的线索。

第三步：完成元数据到业务数据的转化

也就是下载！因为可能会有泛解析和重复的情况，我们的下载添加了去重功能，视频中选用了默认的第二档，这个是可选的，下载的数据去重分为三挡：

• 第一档：不去重；需要所有的数据；

• 第二档：去重泛域名资产和服务/协议类的重复资产；

• 第三档：直接获取搜索结果中的IP和子域名资产；

三步走，就可以快速的完成资产的梳理，相信通过视频也看到了，整个流程非常的简单：输入域名、添加线索、下载资产，就可以了，接下来我们就进行实战检验！

实战对比

我们取Hackerone上的一个案例来进行实战一下。以Paypal为例子，通过它的主域名paypal.com进行实战演示，对该企业的资产进行梳理。

对比资产梳理后的结果和从Chaos Db下载的数据集：

chaos-Add代表chaos Db多出来的域名数量，fofa-add代表FOFA多出来的域名数量，Same代表相同的。

root-domains表示根域名数量，图中能看出FOFA比chaos
Db的数据多了196个根域名，在根域名的关联发现上，FOFA具有绝对优势，会将更多的信息进行关联，扩大线索面。

但是子域名的数量chaos数据集多出来很多，这是因为FOFA下载的数据是经过一系列的清洗处理过的资产,chaos
Db的数据集有些还是无法解析的子域名，所以我们再次对chaos Db和FOFA的数据进行子域名解析处理，再进行比较，这样就去掉了无法解析的无效资产：

从上图能看到经过DNS解析后，chaos db的数据中部分域名的损失率比较高：

比如paypal的损失率为61%，xoom.com的损失率高达81%。

paypal.com	(3876-1502)/3876	61%
xoom.com	(788-149)/788	81%

损失率 = （解析前的域名数量 - 解析后的域名数量）/ 解析前的域名数量

FOFA的数据基本没什么变化，所以在有效性方面，FOFA的效果是十分突出的。但是我们可以看到，chaos db的子域名数据量还是非常多的。

这是因为在正常的使用过程中，域名经过dns解析后还需要检测http请求，来找到目标站点，所以我们再来一层http请求检测，我们来看一下检测后的结果：

注意：这里使用httpx基于原始的域名数据（不是经过dnsx过滤后的），并且只检测了httpx默认的80，443端口的web请求，其它端口被忽略，虽然FOFA提供的有其它端口，但是对于chaos
db的数据集需要更多的主动扫描才能发现，这里实际上还缺少了一个针对域名上的ip进行端口扫描的过程。为了方便比较，FOFA的数据也是只使用域名列表，然后使用httpx进行过滤，只比较端口80，443上有效的域名数量。

大部分的情况下，FOFA的数据量是比较多的，但是在paydiant.com和venmo.com的根域名数据上，发现数据量差距极大，查看子域名列表，发现chaosdb有很多的泛域名解析或者网页内容一样的站点，在实际的赏金任务过程中，针对这些站点也会做清洗过滤，所以我们继续进行数据清洗，下面是针对http请求内容相似的网站过滤后的对比：

根据上图可以看到，去掉相似的http请求内容后的数据里，大部分情况下FOFA的数据量都是领先的。

使用chaos
db的数据集，需要进行一步步的手工处理。比如说本次处理消耗总共耗时将近2小时，但是FOFA的数据获取只在聚合视角下点了点，只花费了几分钟，就能收集到相关的资产，最终得到的有效域名数量，也非常有优势。

当然也有OneForAll这样的工具自动化的完成整套流程，结果也包含了title、地理位置等更多的字段，但它只能针对指定的根域名进行资产发现，以下是针对paypal.com，使用OneForAll结果中的request=1的数据，并经过去除http重复数据的对比，注意也是使用默认参数，只检测了80,443端口: