使用代理、爬行器和爬虫

1. 使用代理、爬行器和爬虫

项目介绍

渗透测试可以使用不同的方法进行，称为黑盒测试(black box testing)、白盒测
试(white box testing)和灰盒测试(gray box testing)。黑盒测试是指测试团队除了服务
器的URL外，没有关于要测试目标任何以前的信息。白盒测试表示团队拥有目标、
基础架构、软件版本、测试用户、开发信息等所有信息。灰盒测试是介于黑盒和白
盒之间兼具二者特色的测试。
对于黑盒测试和灰盒测试，正如在上一章中看到的那样，侦察阶段对于测试团
队发现应用程序所有者在白盒测试中提供的信息是必要的。
继续进行web渗透测试中的侦察阶段，需要浏览web页面中包含的每个链接，
并记录它所显示的每个文件。有一些工具可以帮助自动化和加速这项任务，它们被
称为网络爬虫或网络蜘蛛。这些工具根据外部文件的所有链接和引用浏览web页面，
有时填写表单并将其发送到服务器，保存所有请求和响应，并为提供脱机分析它们
的机会。
在本章中，将介绍Kali Linux中包含的一些代理、爬行器和爬虫程序的使用，
还将了解在公共web页面中查找哪些文件和目录是有趣的。

任务1 使用DirBuster寻找敏感文件和目录

一、任务描述
DirBuster 是一款安全工具，通过暴力或者表单进行来发现Web服务器中现有
文件和目录。将在文中使用它来搜索特定的文件和目录列表。
要使用一个文本文件，其中包含要用DirBuster来查找的文件列表。创建一个包
含以下内容的文本文件dir_dictionary.txt
二、任务实现
DirBuster 是一款使用 Java 语言写的应用程序，它可以从 Kali的主菜单或使用
dirbuster 命令的终端来使用。以下是使用它所需的步骤：
1．找到Applications |03-Web Application Analysis | Web Crawlers＆DirectoryBruteforcing
| Dirbuster 。
（注：我的Kali按照这个路径就没找到，但是你可以在终端下输入 dirbuster 打
62
开这个软件）
2．在DirBuster 窗口中，将目标URL设置为http://192.168.56.11/
3．将线程数设置为20，以获得不错的测试速度。
4．选择基于列表的暴力破解，然后单击“浏览”。
5．在浏览窗口中，选择刚刚创建的文件（dir_dictionary.txt）
6．取消选中Be Recursive（递归）选项。
7．对于这个配置，将其余选项保留为默认值。
8. 点击Start（开始）。
9. 如果转到结果选项卡，将看到 DirBuster 在字典中找到了至少两个文件夹：cgi-bin
和 gtd-php。响应码 200 表示文件或目录存在并且可以被读取。Phpmyadmin 是一个基于
Web的mysql数据库， 查找一个带有tis名称的目录告诉服务器中有一个数据库管理系统
（DBMS），它可能包含有关应用程序及其用户的相关信息。
10. 搜索结果生成一份报告(Report)，并将报告文件提交。


三、相关知识与技能
Dirbuster 是一种履带式和粗暴式的混合物，它遵循它找到的页面中的所有链接，
但也为可能的文件尝试不同的名称。这些名称可能位于与使用的文件类似的文件中，
也可能由Dirbuster 使用Pure Brute Force 选项自动生成，并设置字符集以及生成
的单词的最小和最大长度。
为确定文件是否存在，DirBuster使用服务器的响应代码。最常见的响应如下所
示：
⚫ 200 成功：文件存在。
⚫ 404 未找到：服务器中不存在该文件。
⚫ 301 永久移动：请求的网页已永久移动到新位置，这是重定向到给定的URL。
⚫ 302 临时移动：服务器目前从不同位置的网页响应请求。
⚫ 303 查看其他位置：请求者应当对不同的位置使用单独的 GET 请求来检索响
应时，服务器返回此代码。
⚫ 401 未授权：访问此文件需要身份验证，对于需要登录的网页，服务器可能返
回此响应。
⚫ 403 禁止：请求有效但服务器拒绝响应。
⚫ 500 服务器内部错误：服务器遇到错误，无法完成请求。
64
dirb 是 Kali Linux 中包含的 cmmand-line 工具，它还使用字典文件强制浏览服
务器以识别现有文件和目录。要查看其语法和选项，请打开终端并输入#dirb命令。

任务2 使用ZAP寻找敏感文件和目录

OWASPZed Attack Proxy (ZAP)是一种非常通用的 web安全测试工具。它具有代
理、被动和主动漏洞扫描器、模糊器、爬行器、HTTP请求发送器和其他一些有趣的
特性。在这个小节中，将使用最近添加的强制浏览，这是在ZAP中DirBuster的实
现。
一、任务描述
为了使这个程序工作，需要使用ZAP作为Web浏览器的代理。
1.从 Kali Linux 命令行输入：owasp-zap。根据提示进行安装，安装结束后，
可以通过命令行输入：owasp-zap，启动zap；或者 选择Applications | 03 - Web
Application Analysis | owasp-zap
2.接下来，将更改ZAP的代理设置。 默认情况下，它使用端口8080， 这是可
以的，但是如果让ZAP和Burp Suite同时运行，则会干扰Burp Suite等其他代理。
在ZAP中，转到Tools | Options | Local Proxies 并将端口更改为 8088

上图修改后：


3.现在，在 Firefox 中，转到主菜单并导航到 Preferences | Advanced | Network；
在Connection 中，单击 Settings。


4.选择手动代理配置，并将HTTP代理设置为127.0.0.1，将端口设置为 8088。
选中该选项以对所有协议使用相同的代理，然后单击OK：

5.还可以使用FoxyProxy 插件设置多个代理设置，切换他们只需点击一下：

怎么做…
现在已经配置了浏览器和代理，准备扫描服务器的存在的文件夹，使用以下步
骤：

1. 正确配置代理后，浏览到http://192.168.56.11/WackoPicko/
2. 将看到 ZAP 通过显示刚访问过的主机的树结构来对此操作做出反应。
3. 现在，在 ZAP的左上角面板（“站点”选项卡）中，在http://192.168.56.11
   网站内右键单击WackoPicko文件夹。 然后，在上下文菜单中，导航到Attack（攻
   击）| 强制浏览目录(和子目录)，这将进行递归扫描：
   
   4.如果在底部面板中的list(列表)菜单没有选择列表文件，选择列表文件后再进
   行上述扫描。将看到Forced Browse（强制浏览）选项卡上显示的扫描进度及其结果：
   
   它是如何工作的…
   代理是一个应用程序，充当客户端和服务器之间的中介，或者为一个服务器组
   提供不同的服务。客户端从代理请求服务，代理能够将请求转发到适当的服务器并
   获取来自客户端的回复。
   当将浏览器使用ZAP作为代理时，并且ZAP正在监听时，它不会直接发送请
   求到想要浏览网页的服务器，而是发送到定义的地址。然后ZAP将请求转发给服务
   器，但发送的是没有注册和分析过的信息。
   ZAP 的强制浏览与DirBuster 的工作方式相同，需要配置相应的字典，并向服务
   器发送请求，就像它试图浏览列表中的文件一样。如果文件存在，服务器将相应地
   做出响应，如果它们不存在或者当前用户无法访问，则服务器将返回错误。