Python 爬虫入门学习 处理cookie

requests 处理 cookie

一 :引入

为了能够通过爬虫获取到登录后的页面，或者是解决通过cookie的反扒，需要使用request来处理cookie相关的请求

---

二 :爬虫中使用cookie的利弊

• 带上cookie的 好处
  能够访问登录后的页面
  能够实现部分反反爬
• 带上cookie的 坏处
  一套cookie往往对应的是一个用户的信息，请求太频繁有更大的可能
• 被对方识别为爬虫
  那么上面的问题如何解决 ?使用多个账号 哈哈

---

三、发送请求时添加cookie

有 3 种方法：

• cookie字符串放在headers中
• 把cookie字典传给请求方法的cookies参数接收
• 使用requests提供的session模块

---

第一种 : 将cookie添加到headers中

import requests
headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
    "Cookie": " Pycharm-26c2d973=dbb9b300-2483-478f-9f5a-16ca4580177e; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1512607763; Pycharm-26c2d974=f645329f-338e-486c-82c2-29e2a0205c74; _xsrf=2|d1a3d8ea|c5b07851cbce048bd5453846445de19d|1522379036"
}

requests.get(url, headers=headers)

---

cookie 格式:

• 使用分号; 隔开
• 分号两边的类似a=b形式的表示一条cookie
  a=b中，a表示键（name），b表示值（value）
  在headers中仅仅使用了cookie的name和value

例:图片中的:
从上图中可以看出，在浏览器中存储的cookie除了name与value之外还有生效时间等属性。但是由于headers中对cookie仅仅使用它的name和value，所以在代码中我们仅仅需要cookie的name和value即可

---

第二种:使用cookies参数接收字典形式的cookie

import requests

headers = {
    "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36",
}
cookie_dict = {
    "Cookie": " Pycharm-26c2d973=dbb9b300-2483-478f-9f5a-16ca4580177e; Hm_lvt_98b9d8c2fd6608d564bf2ac2ae642948=1512607763; Pycharm-26c2d974=f645329f-338e-486c-82c2-29e2a0205c74; _xsrf=2|d1a3d8ea|c5b07851cbce048bd5453846445de19d|1522379036"

}
requests.get(url, headers=headers, cookies=cookie_dict)

对比第一种,只是把cookie单独提取出来,但如果cookie里面有很多kv…写不过来的,所有用第三种

---

第三种 获取响应时提取cookie

使用request获取的resposne对象，具有cookies属性，能够获取对方服务器设置在本地的cookie

1. response.cookies是CookieJar类型
2. 使用requests.utils.dict_from_cookiejar，能够实现把cookiejar对象转化为字典

import requests
url = "https://www.baidu.com"
# 发送请求，获取resposne
r = requests.get(url)
print(type(r.cookies))
# 使用方法从cookiejar中提取数据
cookies = requests.utils.dict_from_cookiejar(r.cookies)
print(cookies)

结果类似这种:

---