1.应用
-
打开浏览器,右键-检查,点击Net work,勾选Preserve log
-
访问github登陆的url地址
https://github.com/login
-
输入账号密码点击登陆后,访问一个需要登陆后才能获取正确内容的url,比如点击右上角的Your profile访问
https://github.com/USER_NAME
-
确定url之后,再确定发送该请求所需要的请求头信息中的User-Agent和Cookie
-
从浏览器中复制User-Agent和Cookie
-
浏览器中的请求头字段和值与headers参数中必须一致
-
headers请求参数字典中的Cookie键对应的值是字符串
import requests
url = 'https://github.com/USER_NAME'
# 构造请求头字典
headers = {
# 从浏览器中复制过来的User-Agent
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.87 Safari/537.36',
# 从浏览器中复制过来的Cookie
'Cookie': 'xxx这里是复制过来的cookie字符串'
}
# 请求头参数字典中携带cookie字符串
resp = requests.get(url, headers=headers)
print(resp.text)
2.cookie
注意:cookie一般是有过期时间的,一旦过期需要重新获取
有三种方法设置Cookie:
1)上述方式 header
2)通过cookie参数
1.cookies参数的形式:字典
cookies = {"cookie的name":"cookie的value"}
- 该字典对应请求头中Cookie字符串,以分号、空格分割每一对字典键值对
- 等号左边的是一个cookie的name,对应cookies字典的key
- 等号右边对应cookies字典的value
2.cookies参数的使用方法
response = requests.get(url, cookies)
3.当我们复制浏览器的cookie时,要把字符串转换为字典
3)通过respose对象的cookies属性
使用requests获取的resposne对象,具有cookies属性。该属性值是一个cookieJar类型,包含了对方服务器设置在本地的cookie。
response.cookies返回的就是cookieJar类型的对象
requests.utils.dict_from_cookiejar函数返回cookies字典
cookies_dict = requests.utils.dict_from_cookiejar(response.cookies)