爬虫-requests模拟登录的三种方式（携带cookie/session进行请求网站）

一，cookie和session的区别

cookie在客户的浏览器上，session存在服务器上
cookie是不安全的，且有失效时间
session是在cookie的基础上，服务端设置session时会向浏览器发送设置一个设置cookie的请求，这个cookie包括session的id当访问服务端时带上这个session_id就可以获取到用户保存在服务端对应的session

二，爬虫处理cookie和session

带上cookie和session的好处：

能够请求到登录后的界面 

带上cookie和session的弊端：

一个cookie和session往往和一个用户对应，访问太快容易被服务器检测出来爬虫

不需要cookie的时候尽量不要用

三，处理session，cookie请求

1,cookie请求方式
1.1 直接使用浏览器抓包到的现有的cookie进行访问网站：
放在header字典里面

header={
"User-Agent":"Mozilla/5.0 (X11; Ubuntu; Linu…) Gecko/20100101 Firefox/64.0",
"Cookie":"csrftoken=JfnuMOvgMGZTxtCjvgfZ…6246vb2; username=chengyangkj",
}
r=request.get(url,headers=header)

当然也可以在发送get请求时加上cookies的字典参数：

Cookie="csrftoken=JfnuMOvgMGZTxtCjvgfZ…6246vb2; username=chengyangkj"

但是接受的参数是字典类型的，这就需要我们适用字符串分割方法把cookie字符串转为字典形式：

Cookie="csrftoken=JfnuMOvgMGZTxtCjvgfZ…6246vb2; username=chengyangkj"
cookies={i.split("=")[1]：i.split("=")[1] for i in Cookie.split("; ")}  #先使用for循环遍历Cookie以”; “(分号和空格)分开的列表 再分别获取i以等号分割的列表的[0] [1] 位置填入 字典键 和值的位置
r=request.get(url,headers=header，cookies=cookies)

适用于cookie过期时间比较长的网站
2.session请求方式
request提供了一个一个叫做session的类，来实现客户端和服务端的会话保持
使用方法：

1. 实例化一个session对象
2. 让session发送get或post请求
3. 再使用session访问只有登录之后才能访问的网站，这时候session会自动带上服务器保存在其中的信息进行访问

session=request.session()  #实例化session对象
response=session.get(url,header) #使用session对象发送get请求 就能获取服务端设置的session对象