策略一:设置download_delay
- 作用:设置下载的等待时间,大规模集中的访问对服务器的影响最大,相当与短时间中增大服务器负载。
- 缺点:下载等待时间长,不能满足段时间大规模抓取的要求,太短则大大增加了被ban的几率。
策略二:禁止cookies
- Cookie,有时也用其复数形式 Cookies,指某些网站为了辨别用户身份、进行 session跟踪而储存在用户本地终端上的数据(通常经过加密)。
- 作用:禁止cookies也就防止了可能使用cookies识别爬虫轨迹的网站得逞。
- 实现:COOKIES_ENABLES=False
策略三:使用user agent池(拓展: 用户代理中间件)
- 为什么使用? scrapy本身是使用Scrapy/0.22.2来表明自己身份的。这也就暴露了自己是爬虫的信息。
- user agent,是指包含浏览器信息、操作系统信息等的一个字符串,也称之为一种特殊的网络协议。服务器通过它判断当前访问对象是浏览器、邮件客户端还是网络爬虫。
通常在下载器中间件中进行处理。比如在setting.py中建立一个包含很多浏览器User-Agent的列表,然后新建一个random_user_agent文件:
class RandomUserAgentMiddleware(object):
@classmethod
def process_request(cls, request, spider):
ua = random