Python爬虫:scrapy管理服务器返回的cookie

1、使用cookie
settings.py启用

COOKIES_ENABLED=True  # 启用cookie
COOKIES_DEBUG=True  # 显示发送和接受的cookie

2、使用自定义cookie
如果要使用登录验证的cookie,那么可以这样

for url in self.start_urls:
    yield scrapy.Request(url, cookies={"username": "pengshiyu"})

3、删除服务器端返回的cookie
有一种情况:服务器端每次都重新写入一个cookie记录你的访问次数,我不希望将这个cookie带入下一个请求
我们知道,服务器端返回的cookie,可以通过以下语句获取

response.headers.get('Set-Cookie')

这里的headers看起来很像一个字典,那么直接移除试试

response.headers.pop('Set-Cookie')

理论上应该是可行的,不过我暂时没有成功

scrapy中处理cookie的中间件优先级是700

'scrapy.downloadermiddlewares.cookies.CookiesMiddleware': 700,

处理请求cookie的中间件应该在其之前执行,优先级应该低于700
处理响应cookie的中间件应该在其之后执行,优先级应该高于700

4、忽略服务器返回的所有cookie
scrapy中,单个spider使用的是一个cookie session,如果单spider使用多cookie session,这样,让每个request请求都是独立的,不就可以忽略服务器再次返回的所有cookie了吗?

默认情况下使用一个cookiejar(session),不过可以传递一个标示符来使用多个。
例如:

def start_requests(self):
    for i, url in enumerate(urls):
        yield Request(url, meta={'cookiejar': i},
            callback=self.parse_page)

# 在之后的request请求中接着传递
def parse_page(self, response):
    # do some processing
    return Request("http://www.example.com/otherpage",
        meta={'cookiejar': response.meta['cookiejar']},
        callback=self.parse_other_page)

参考:
下载器中间件(Downloader Middleware)-CookiesMiddleware

发布了1415 篇原创文章 · 获赞 370 · 访问量 130万+
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 编程工作室 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览