cookie是由服务器端创建,由客户端存储的一组键值对
使用cookie可以在指定时长之内进行免密登陆。
在爬虫中处理cookie的两种方式
1. 手动处理
将cookie封装到headers字典中,将该字典作用到get/post方法的headers参数中
2. 自动处理
Session对象。
Session对象的创建:requests.Session()
session对象的作用:
可以跟requests一样调用get/post进行请求的发送。在使用session进行请求发送的过程中,如果产生了cookie,则cookie 会被自动存储到session对象中。
在爬虫中使用session处理cookie时,session对象至少需要被用几次?
两次。第一次是为了捕获和存储cookie到session对象中,第二次就是用携带cookie的session进行请求发送,这次请求发送就是携带cookie发起的请求。
import requests
headers = {
'User-Agent':'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko