【Python3 爬虫学习笔记】pyspider框架的使用 3

启动爬虫

返回爬虫的主页面，将爬虫的status设置成DEBUG或RUNNING，点击右侧的Run按钮即可开始爬取。

在最左侧我们可以定义项目的分组，以方便管理。rate/burst代表当前的爬取速率，rate代表1秒发出多少个请求，burst相当于流量控制中的令牌桶算法的令牌数，rate和burst设置的越大，爬取速率越快，当然速率需要考虑本机性能和爬取过快被封的问题。process中的5m、1h、1d指的是最近5分、1小时、1天内的请求情况，all代表所有的请求情况。请求由不同颜色表示，蓝色的代表等待被执行的请求，绿色的代表请求成功的请求，黄色的代表请求失败后等待重试的请求，红色的代表失败次数过多而被忽略的请求，这样可以直观知道爬取的进度和请求情况。
点击Active Tasks，即可查看最近请求的详细情况。

点击Results，即可查看所有的爬取结果。

点击右上角的按钮，即可获取数据的JSON、CSV格式。