scrapy的cookie禁用以及自动限速

cookie的禁用:

在爬取不需要登入的页面是,cookie可能会成为网站检测爬虫的途径之一,所以一般会把cookie禁用,防止被反爬;

禁用方法:在setting.py中,将COOKIES_ENABLED设定为False;

而在爬取需要登入的页面是,cookie往往是发送登录信息的一种手段,所以可以在spider的py文件中重载custom_settings:

custom_settings = {
        "COOKIES_ENABLED": True,
    }

在custom_settings中,也可以重载其他spider setting。

 

自动限速:

爬虫爬取速度过快,会对网站服务器造成很大的压力,因此很容易会被判断为爬虫,自动限速可以限制爬虫的速度,对网站服务器更友好,并且不容易被反爬。

自动限速设定:

在setting.py开启相关扩展:

AUTOTHROTTLE_ENABLED = True

设定爬取速度:

DOWNLOAD_DELAY = 1  #单位为秒

其他相关扩展

 

展开阅读全文

没有更多推荐了,返回首页