python爬虫—requests模块的cookie处理

requests模块的cookie处理

无状态HTTP

HTTP的无状态指的是http协议对事物处理是没有记忆能力的，也就是说服务器不知道客户端是什么状态。当我们向服务器发送请求后，服务器解析此请求，然后返回对应的响应，服务器负责完成这个过程，而且这个过程是完全独立的，服务器不会记录前后状态的变化，也就是缺少状态记录。这就意味着如果后续需要处理前面的信息，则必须重传，这导致需要额外传递一些前面的重复请求，才能获取后续响应，然而这种效果显然不是我们想要的。为了保持前后状态，我们肯定不能将前面的请求全部重传一次，这太浪费资源了，对于需要用户登录页面来说，更是棘手。

这时两个保持http连接状态的技术出现了，分别是会话和cookie。会话在服务端，用来保存用户的会话信息。cookie在客户端，有了cookie，浏览器在下次访问网页时会自动附带上cookie发送给服务器，服务器识别cookie并鉴定出是哪个用户，然后在判断出用户的相关状态，然后返回对应的响应。

• 会话：会话（对象）是用来存储特定用户进行会话所需的属性及配置信息的。
• cookie：指的是某些网站为了辨别用户身份、进行会话跟踪而存储在用户本地终端上的数据。
• 会话维持：当客户端第一次请求服务器时，服务器会返回一个响应对象，响应头中带有Set-Cookie字段，cookie会被客户端进行存储，该字段表明服务器已经为该客户端用户创建了一个会话对象，用来存储该用户的相关属性机器配置信息。当浏览器下一次再请求该网站时，浏览器会把cookie放到请求头中一起提交给服务器，cookie中携带了对应会话的ID信息，服务器会检查该cookie即可找到对应的会话是什么，然后再判断会话来以此辨别用户状态。

Cookie处理

• 手动处理：通过抓包工具获取cookie值，将该值封装到headers中。（不建议）

• 自动处理：

  • session会话对象：

    • 作用：
      • 1 可以进行请求的发送
      • 2 若请求过程中产生了cookie，则该cookie会被自动存储/携带在该session对象中

  • 创建一个session对象：session=requests.Session()

  • 使用session对象进行模拟登录post请求的发送(cookie就会被存储在session中)

  • session对象对个人主页对应的get请求发送（携带了cookie）

实战—登录github

登录时抓包，发现session

这里面的data就是页面向服务器发送的数据

不过我们需要注意一点，在使用会话发起登录请求时

'authenticity_token': 'U8ozEYmWnxB7GXxIVB+uG3naw5v9o88hm/Tz0kFSPaHPPTRwqkzlW0KcKuNhFYkEfatrDqsSr206jUt+lonCHQ==',

该参数的value值看起来像是一组密文数据，则该数据很有可能是动态变化的，因此需要动态捕获，动态赋值。如果该参数不处理的话，也是会登陆失败的。那么该值应该从那哪里动态捕获呢？这种值我们可以统一称为动态taken参数，该值一般都会动态存在与该请求对应的前台页面中，因此我们在登陆页面的源码中进行搜索。然后利用xpath语句进行匹配

import requests
from lxml import etree

headers = {
 'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36',
 'Connection': 'close',
}
#创建会话对象,该会话对象可以调用get和post发起请求
session = requests.Session()
#使用会话对面对登录页面发起请求
page_text = session.get(url='https://github.com/login',headers=headers).text
#解析出动态的taken值
tree = etree.HTML(page_text)
t = tree.xpath('//*[@id="login"]/form/input[2]/@value')[0]
#指定模拟登录请求的url
url = 'https://github.com/session'
#参数封装（处理动态taken值）
data = {
    'commit': 'Sign in',
    'authenticity_token': t,
    'login': 'xxxxxxxxxxxx',
    'password': 'xxxxxxxxxxx',
    'webauthn-support': 'supported',
    'webauthn-iuvpaa-support': 'supported',
    'return_to': 'https://github.com/login',
    'timestamp': '1634133256609',
    'timestamp_secret': 'ed0138c3f1f7e90eb0aab250436132b1d9716ae4c1fe043621146d69a6f23040'
}
#使用会话对象进行模拟登录请求发送（携带cookie）
page_text = session.post(url=url,headers=headers,data=data).text
#持久化存储
with open('./git.html','w',encoding='utf-8') as fp:
    fp.write(page_text)

注：该笔记为学习笔记，内容为b站教程