Scrapy 中的 Cookies 管理

Scrapy 提供了灵活的方式来处理 cookies，这对于模拟真实用户的行为、维持会话状态或处理登录验证等场景至关重要。

1. COOKIES_ENABLED 配置

在 settings.py 文件中，COOKIES_ENABLED 是控制 Scrapy 如何处理 cookies 的关键配置项。

• COOKIES_ENABLED = True（默认设置）:

  • Scrapy 将自动处理 web 服务器发送的所有 cookies，并在后续请求中发送这些 cookies。这允许 Scrapy 在多个请求之间保持状态，如用户登录状态或会话信息。

• COOKIES_ENABLED = False:

  • 当设置为 False 时，Scrapy 将不会自动处理或存储任何 cookies。这意味着每个请求都被视为独立的，没有任何会话数据被保留。这对于避免被网站追踪或当目标网站的功能不依赖于 cookies 时非常有用。

2. 全局与局部 Cookies 设置

• 全局设置 Cookies:

  • 即使 COOKIES_ENABLED = False，也可以通过修改 DEFAULT_REQUEST_HEADERS 在全局范围内为所有请求设置 cookies。这种方法通常用于所有请求都需要发送相同 cookies 的情况。

    DEFAULT_REQUEST_HEADERS = {
       "Cookie": "sessionid=xyz; csrftoken=abc"
    }
    

  • 注意：此设置对所有请求生效，但如果某个具体请求通过局部设置定义了 cookies，局部设置将优先生效。

• 局部设置 Cookies:

  • 不管 COOKIES_ENABLED 如何设置，都可以在特定的请求中通过 cookies 参数手动设置 cookies。这适用于需要对某些请求定制特定 cookies 的场景。

    yield scrapy.Request(
        url='http://example.com/somepage',
        cookies={'sessionid': 'specific_value'},  # 为此请求手动设置 cookies
    )
    

  • 在 COOKIES_ENABLED = True 的情况下，这些手动设置的 cookies 将与 Scrapy 自动管理的 cookies 一同发送。在 COOKIES_ENABLED = False 的情况下，只有手动设置的 cookies 会被发送。

3. 实际应用示例

考虑一个场景，我们需要对某些页面使用特定的用户会话，而对其他页面则不需要任何会话信息。

• 全局不发送 cookies，但局部发送:

  • 配置 COOKIES_ENABLED = False 并在特定请求中设置 cookies。

    class MySpider(scrapy.Spider):
        name = 'my_spider'
        start_urls = ['http://example.com']
    
        def parse(self, response):
            # 对特定页面发送 cookies
            yield scrapy.Request(
                url="http://example.com/login",
                cookies={'login_session': 'ABCDE12345'},
                callback=self.after_login
            )
    
        def after_login(self, response):
            # 处理登录后的页面，此处不发送任何 cookies
            pass
    

总结

正确地使用 COOKIES_ENABLED 和相应的全局或局部 cookies 设置是实现高效且符合目标网站要求的爬虫的关键。根据爬取任务的具体需求选择合适的 cookies 设置策略，可以显著提升爬虫的适应性和效果。这篇博客希望能帮助你更好地理解和应用 Scrapy 的 cookies 管理功能。如有疑问或需要进一步帮助，请留言讨论。