Scrapy 模拟登陆

方法一：直接携带cookies

应用场景：

1.cookie过期时间很长，常见于一些不规范的网站

2.能在cookie过期之前把所有数据拿到

3.配合其他程序使用，比如其使用selenium把登录之后的cookie获取保存到本地，scrapy发送请求之前先读取本地cookie

实践：

登录→右键检查→Network→找到cookie→粘贴到py文件相应位置（如下图)

注意：settings.py 中添加 请求头；ROBOTSTXT_OBEY = False

方法二：找url地址，发送post请求存储cookie

我们可以通过scrapy.Request()指定method()、body参数来发送post请求；但是通常使用scrapy.FormRequest()来发送post请求

1.发送