【爬虫】禁用cookie,自动限速

如果用不到cookies的，就不要让对方知道你的cookies--设置---

COOKIES_ENABLED = False

ROBOTSTXT_OBEY = False#限速

COOKIES_ENABLED = False  #是否开启扩展

 

自定义setting中的参数可以这样写：

在spider.py文件中：

custom_settings={
    "COOKIES_ENABLED":True,
    "":"",  
}