scrapy的cookie管理

scrapy的cookie管理

单个请求的cookie管理

1.设置headers

需要把settings.py的COOKIES_ENABLED设置为false

COOKIES_ENABLED = False

示例

def start_requests(self):
    headers = {
   
        "cookie":"填入cookie"
    }
    url = '请求url'
    yield Request(url, callback=self.parse, headers=headers)

2.传入Request的cookies参数

需要把settings.py的COOKIES_ENABLED设置为true

示例

def start_requests(self):
    url = '请求url'
    # 指定你的cookies
    cookies = {
   }
    yield Request(url, callback=self.parse,cookies=cookies)

多个请求的cookie管理

上面的两个方法可适用大部分情景，但如果要管理多个cookie session，每次手动添加就显得很繁杂了。这时候就用到scrapy的cookies middleware了，其使用了cookiejar来管理多个cookie。

使用

需要把settings.py的COOKIES_ENABLED设置为true

for i