为什么要模拟登录
- 获取cookie,能够爬取登陆后的页面
对于scrapy来说,有两个方法模拟登陆
- 直接携带cookies
- 找到发送post请求的url地址,带上formdata信息,发送请求 yield scrapy.FormRequest
1. 直接携带cookies进行模拟登陆。
- 在父类源码中 有一个start_requests方法,用来发送start_urls,因此我们可以自己构造一个start_requests方法,覆盖父类的方法,实现携带cookies登录。
- cookies需要是字典形式
- 第一次携带cookies登录之后,下次请求会默认携带,无需再写(setting中可以设置)
2. 发送post请求模拟登陆
- 这里主要是寻找真实的登录链接 有的可以在form表单中找到 有的需要抓包找到
- 构造post请求时携带 formdata ,并且请求格式为scrapy.FormRequest
- 自动登录(前提是form表单中有登录链接)
人人网模拟登录案例:
1:携带cookies登录:
- 构造请求时携带 cookies 字典
- cookies应该是访问成功过后 request里的cookies
# -*- coding: utf-8 -*-
import scrapy
import re
class RrSpider(scrapy.Spider):
name = 'rr'
allowed_domains = ['renren.com']
start_urls = ['http://www.renren.com/971326407/profile']
def start_requests(self): # 重写start_requests函数 指定start_urls的处理方式
cookies = "anonymid=jxgs2jkwqwhdpd; _r01_=1; jebe_key=25d04d93-b460-45b8-bae7-3616ba782a25%7C5cf624e189b77eef33651639aa11d37f%7C1561773163331%7C1%7C1561773163304; ln_uact=15238932677; ln_hurl=http://head.xiaonei.com/photos/0/0/men_main.gif; _ga=GA1.2.2097208372.1561796379; _de=2EACFB7F6394A56075DC3133F1B30D50; depovince=GW; jebecookies=bfe48625-8bf8-4478-9c22-72cc5c9d742c|||||; JSESSIONID=abcO84i9s4NDYdcjLw9Vw; ick_login=c8712f2d-79e9-4422-b1b2-45a88cdc90f0; p=85c93fe75386c41a90ff7da49d6f36da7; first_login_flag=1; t=b19f5ab05a64b534ad06b26ded4adca67; societyguester=b19f5ab05a64b534ad06b26ded4adca67; id=971326407; xnsid=2a57985; ver=7.0; loginfrom=null; wp_fold=0; jebe_key=25d04d93-b460-45b8-bae7-3616ba782a25%7Cbabedbac6b8f43cdadf04d05bc26e3cd%7C1563323699507%7C1%7C1563323700482"
cookies = {
re.split("=", i)[0]: re.split("=", i)[1] for i in re.split(";", cookies)} # cookies字符串转化为字典
for url in self.start_ur