内容发现有三种方式
手动,自动,OSINT(开源情报)
内容发现是什么?
在网站中经常有一些内部资料比如视频,备份,文件不让普通用户在日常使用或者搜索引擎的时候接触到,这个时候我们就得挖掘出来
比如我们利用tryhackme搭建了一个环境,进入了robot.txt
这里我们可以看到/staff-portal是被禁止了
手动发现-网站漏洞
有时候开发者在用框架构建网站的时候 图标会忘记改 这个时候我们会知道这个图标是哪个框架,并且可以搜索这个框架的已知漏洞
OWASP(对就是哪个owasp top 10 的网站)托管了常用框架图标数据库,我们可以透过这个数据库来搜索哪个数据库 OWASP favicon database - OWASP
这里我们用个例子来说一下
我们来到了这个网站 我们可以看到主页只有短短一行字
我们来看下源码
可以看到有个href=“images/favicon.co" 这里我们直接按下去 只能找到图片 而我们需要md5hash 来找到符合条件的框架
这里我们可以用curl 命令
curl https://static-labs.tryhackme.cloud/sites/favicon/images/favicon.ico | md5sum
我们可以看到了返回了一堆加密字符 f276b19aabcb4ae8cda4d22625c6735f
这个时候我们去OWASP favicon database - OWASP 搜一下
从这里得知我们的框架是cgiirc
Sitemap.xml
有时候网站会有一个文件叫sitemap.xml 这个是列出网站所有者希望在搜索引擎上列出的所有网址
HTTP head
发出请求时 服务器会返回各种head 比如编程语言版本,服务器种类等
我们这里用了 curl 加了-v 代表列出详细
我们可以看到服务器用的是nginx
开源情报有好几种 比如googledock wappalyzerFind out what websites are built with - Wappalyzer waybackmachine https://archive.org/web/
这些网站你都可以找到需要的资料
自动 也就是透过程序发起数千次对网站的请求 透过自己带的字典(常用目录名字,文件名字等)
这里我们用gobuster , 可以看到通过字典我们找到了网站下辖的目录名