爬虫Scrapy框架学习（七）-scrapy框架实现模拟登陆

为什么要模拟登录

• 获取cookie，能够爬取登陆后的页面

对于scrapy来说，有两个方法模拟登陆

• 直接携带cookies
• 找到发送post请求的url地址，带上formdata信息，发送请求 yield scrapy.FormRequest

1. 直接携带cookies进行模拟登陆。

• 在父类源码中 有一个start_requests方法，用来发送start_urls，因此我们可以自己构造一个start_requests方法，覆盖父类的方法，实现携带cookies登录。
  
• cookies需要是字典形式
• 第一次携带cookies登录之后，下次请求会默认携带，无需再写（setting中可以设置）
  

2. 发送post请求模拟登陆

• 这里主要是寻找真实的登录链接 有的可以在form表单中找到 有的需要抓包找到
• 构造post请求时携带 formdata ，并且请求格式为scrapy.FormRequest
  
• 自动登录（前提是form表单中有登录链接）
  

人人网模拟登录案例：

1：携带cookies登录：

• 构造请求时携带 cookies 字典
• cookies应该是访问成功过后 request里的cookies

# -*- coding: utf-8 -*-
import scrapy
import re


class RrSpider(scrapy.Spider):
    name = 'rr'
    allowed_domains = ['renren.com']
    start_urls = ['http://www.renren.com/971326407/profile']

    def start_requests(self):	# 重写start_requests函数 指定start_urls的处理方式
        cookies = "anonymid=jxgs2jkwqwhdpd; _r01_=1; jebe_key=25d04d93-b460-45b8-bae7-3616ba782a25%7C5cf624e189b77eef33651639aa11d37f%7C1561773163331%7C1%7C1561773163304; ln_uact=15238932677; ln_hurl=http://head.xiaonei.com/photos/0/0/men_main.gif; _ga=GA1.2.2097208372.1561796379; _de=2EACFB7F6394A56075DC3133F1B30D50; depovince=GW; jebecookies=bfe48625-8bf8-4478-9c22-72cc5c9d742c|||||; JSESSIONID=abcO84i9s4NDYdcjLw9Vw; ick_login=c8712f2d-79e9-4422-b1b2-45a88cdc90f0; p=85c93fe75386c41a90ff7da49d6f36da7; first_login_flag=1; t=b19f5ab05a64b534ad06b26ded4adca67; societyguester=b19f5ab05a64b534ad06b26ded4adca67; id=971326407; xnsid=2a57985; ver=7.0; loginfrom=null; wp_fold=0; jebe_key=25d04d93-b460-45b8-bae7-3616ba782a25%7Cbabedbac6b8f43cdadf04d05bc26e3cd%7C1563323699507%7C1%7C1563323700482"
        cookies = {
   re.split("=", i)[0]: re.split("=", i)[1] for i in re