requests cookie

1.应用

1. 打开浏览器，右键-检查，点击Net work，勾选Preserve log

2. 访问github登陆的url地址 https://github.com/login

3. 输入账号密码点击登陆后，访问一个需要登陆后才能获取正确内容的url，比如点击右上角的Your profile访问https://github.com/USER_NAME

4. 确定url之后，再确定发送该请求所需要的请求头信息中的User-Agent和Cookie

5. 从浏览器中复制User-Agent和Cookie

6. 浏览器中的请求头字段和值与headers参数中必须一致

7. headers请求参数字典中的Cookie键对应的值是字符串

import requests

url = 'https://github.com/USER_NAME'

# 构造请求头字典
headers = {
    # 从浏览器中复制过来的User-Agent
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36',
    # 从浏览器中复制过来的Cookie
    'Cookie': 'xxx这里是复制过来的cookie字符串'
}

# 请求头参数字典中携带cookie字符串
resp = requests.get(url, headers=headers)
print(resp.text)

2.cookie

注意：cookie一般是有过期时间的，一旦过期需要重新获取

有三种方法设置Cookie：
1）上述方式 header

2）通过cookie参数
1.cookies参数的形式：字典

cookies = {"cookie的name":"cookie的value"}

• 该字典对应请求头中Cookie字符串，以分号、空格分割每一对字典键值对
• 等号左边的是一个cookie的name，对应cookies字典的key
• 等号右边对应cookies字典的value

2.cookies参数的使用方法

response = requests.get(url, cookies)
3.当我们复制浏览器的cookie时，要把字符串转换为字典

3）通过respose对象的cookies属性
使用requests获取的resposne对象，具有cookies属性。该属性值是一个cookieJar类型，包含了对方服务器设置在本地的cookie。
response.cookies返回的就是cookieJar类型的对象
requests.utils.dict_from_cookiejar函数返回cookies字典

cookies_dict = requests.utils.dict_from_cookiejar(response.cookies)