在没改代码前
settings.py里面爬取间隔设置的是
DOWNLOAD_DELAY = 0 有一次是 DOWNLOAD_DELAY = 0.5,但都出现了以下情况
将速度改慢一点,DOWNLOAD_DELAY = 1
最后成功啦!!
ps(可能是网慢吧,也不一定是某网页对爬虫的检查严厉)
成功图片:
在没改代码前
settings.py里面爬取间隔设置的是
DOWNLOAD_DELAY = 0 有一次是 DOWNLOAD_DELAY = 0.5,但都出现了以下情况
将速度改慢一点,DOWNLOAD_DELAY = 1
最后成功啦!!
ps(可能是网慢吧,也不一定是某网页对爬虫的检查严厉)
成功图片: