直接给出答案:注释掉COOKIES_ENABLED
解释COOKIES_ENABLED作用:
- 当COOKIES_ENABLED是注释的时候scrapy默认没有开启cookie
- 当COOKIES_ENABLED没有注释设置为False的时候scrapy默认使用了settings里面的cookie
- 当COOKIES_ENABLED设置为True的时候scrapy就会把settings的cookie关掉,使用自定义cookie
补充:downloader中间件下如何实现请求携带cookie
在scrapy项目中的middlewares文件中添加如下代码:
class CookieMiddleware(object):
def __init__(self):
self.coll = db.conn['book_rwyxw_crawl']['login_cookies']
def process_request(self