python scrapy的模拟登录

学习目标：
1、应用 请求对象cookies参数的使用；
2、了解 start_requests函数的作用；
3、应用 构造并发送post请求；

1、回顾之前的模拟登录的方法
1.1、requests 模块是如何实现模拟登录的？
1）、直接携带cookies请求页面；
2）、找url地址，发送post请求存储cookie

1.2 selenium是如何模拟登录的？
1）、找到对应的input标签，输入文本点击登录；

1.3 scrapy的模拟登录
1）、直接携带cookies
2)、找url地址，发送post请求存储cookie;

2、scrapy携带cookies直接获取需要登陆后的页面
应用场景
1）、cookie过期时间很长，常见于一些不规范的网站；
2）、能再cookie过期之前把所有的数据拿到；
3）、配合其他程序使用，比如其使用selenium把登录之后的cookie获取到保存到本地，scrapy发送请求之前先读取本地cookie;

2.1 实现：重构scrapy的starte_requests方法

scrapy中start_url是通过start_requests来进行处理的，其实现代码如下：