Scrapy添加Cookie验证的三种方式

• scrapy默认的settings文件

       settings文件中给Cookies_enabled默认等于False
       settings的headers配置的cookie就可以用了
       这种方法最简单，同时cookie可以直接粘贴浏览器的。

• 中间件DownloadMiddleware

        settings文件配置

COOKIES_ENABLED = True
DOWNLOADER_MIDDLEWARES = {
    '项目名.middlewares.自定义的middleware': 125,   # 值越大越靠后执行
}

       修改middlewares文件中process_request，添加request.cookies={}即可。

• 爬虫文件中发送请求时携带cookie

       settings文件中Cookies_enabled=True       

       爬虫文件中调用请求的时候：yield Request(url, cookies={cookie})