python scrapy框架爬取网页页数多时，造成数据为空

最新推荐文章于 2024-03-21 22:43:12 发布

学编程的渣渣

最新推荐文章于 2024-03-21 22:43:12 发布

阅读量4.4k

点赞数 4

文章标签： python scrapy

本文链接：https://blog.csdn.net/ZF98095/article/details/87624578

版权

在写爬虫时，发现一个问题（使用的时scrapy蜘蛛爬虫），获取某一个页面的数据时，使用css选择器，没有任何问题，但是当用到连续翻页时，页面张数大于5，就会出现，response正常，返回码为200，但是返回的数据为空，我在for循环中加入了time.sleep也没有用。

百度原因，发现是因为scrapy中默认的页面请求速度与数据下载速度过快，造成服务器返回的数据为空，所以，只要修改配置文件settings.py,将其中的访问速度与下载速度调整一下，就没有问题了，具体设置：

#遵守robots协议
ROBOTSTXT_OBEY = True
#并发请求个数（越小越慢）
CONCURRENT_REQUESTS = 1
#下载延迟时间（越大请求越慢）
DOWNLOAD_DELAY = 5
#默认False;为True表示启用AUTOTHROTTLE扩展
AUTOTHROTTLE_ENABLED = True
#默认3秒;初始下载延迟时间
AUTOTHROTTLE_START_DELAY = 1
#默认60秒；在高延迟情况下最大的下载延迟
AUTOTHROTTLE_MAX_DELAY = 3
#使用httpscatch缓存
HTTPCACHE_ENABLED = True
HTTPCACHE_EXPIRATION_SECS = 1
HTTPCACHE_DIR = 'httpcache'
HTTPCACHE_IGNORE_HTTP_CODES = []
HTTPCACHE_STORAGE = 'scrapy.extensions.httpcache.FilesystemCacheStorage'

将以上设置好以后，再次运行就没有问题了

参考文章：

https://blog.csdn.net/u014229742/article/details/81867849

https://blog.csdn.net/xc_zhou/article/details/82760608

https://bbs.csdn.net/topics/392186241