scrapy使用cookie模拟登录人人网

使用start_requests方法开启第一个请求，将cookie以键值对的形式写入请求中，注意headers中写入cookie的方式不行。然后将请求结果回调给parse方法，打印请求结果就可以看到是否登录成功。

# -*- coding: utf-8 -*-
import scrapy


class RrspiderSpider(scrapy.Spider):
    name = 'rrspider'
    allowed_domains = ['www.renren.com']
    start_urls = ['http://www.renren.com/']

    def start_requests(self):
        cookies = 'your cookies'
        cookies = {cookie.split('=')[0]: cookie.split('=')[1] for cookie in cookies.split('; ')}
        
        yield scrapy.Request(
            url=self.start_urls[0],
            callback=self.parse,
            cookies=cookies
        )

    def parse(self, response):
        print(response.text)

打印结果如下，可以看到用户名，说明登录成功：