BurpSuite使用详解（三）Spider功能

Spider 爬虫功能

爬虫模块用于自动爬取网站的每个页面内容，并生成完整的网站地图

Control

在Control界面中可以启动爬虫功能，查看爬虫状态，设置爬虫的作用域。
Spider Status
点击Spider is paused开启爬虫功能，在使用爬虫功能之前，需要设置代理，并获取域名。然后关闭代理拦截。
查看爬虫状态，显示了已完成的请求数，字节传递数，请求等待数，表单等待数。分别表示已完成的请求数，已传递的字节数，未完成的请求数，未完成的表单数
Spider Scope
设置爬虫的作用域，也就是设置爬虫目标。可以在使用Target模块中的作用域，还可以使用自定义目标

Options

爬虫选项
Crawier Settings 爬取设置，设置是否检查robots.txt文件，检查404页面，最大的子域名层，每个链接中最大请求数等
Passives Spidering 被动爬取 被动爬取就是当浏览网页时，spider会根据得到的网页内容，自动分析里面存在的连接信息

Form Submission表单提交 爬取信息时，会遇到一些需要提交表单的页面，这里可以设置提交选项。可以设置不提交，提交时弹窗，或者根据事先设置好的默认内容自动提交。
Application Login登录表单 设置登录表单，当爬取到需要登录的页面，可以进行自动提交，选项和表单提交一样。
Spider Engine爬虫引擎 设置爬虫的线程，重试，以及重试次数

Request Headers 请求头部 更改爬虫的请求头部来伪装成浏览器请求。

爬虫执行

执行爬虫有两种方式
可以设置好作用域后，在点击Spider is paused
或者直接在Target和proxy的HTTP history中右键url条目，然后点击Spider from here