Spider模块用于爬取网站的内容,可以帮助我们更快地了解网站的结构以及分布情况,为之后的测试提供方便。
Spider模块包含以下两个模块
- Control:控制模块
- Options:配置模块
1、Control
Control模块用于控制Spider模块的运行以及数据的显示,包含以下两个功能:
- Spider Status:Spider的状态
- Spider Scope:Spider范围
1.1、Spider Status:状态
Spider状态,主要是控制爬取的开始和暂停,以及显示爬取内容数量和请求队列的控制。
1.2、Spider Scope:范围
Spider范围也就是作用域,主要是管理爬取的范围。有两种控制方式:
- 系统默认
- 用户自定义