今天刚开始学习scrapy,运行第一个项目时便报了错,如下所示
原来是遵守了网站的robots协议,所以我们在settings.py文件中修改配置即可
scrapy中设置不遵守robots协议
最新推荐文章于 2024-05-14 11:00:23 发布
今天刚开始学习scrapy,运行第一个项目时便报了错,如下所示
原来是遵守了网站的robots协议,所以我们在settings.py文件中修改配置即可