Python requests
添加 HTTP请求头
需要设置
get方法
的headers参数
.该参数是一个字典类型的值,每一对key-value 就是一个 Cookie。如果要设置中文,需要使用相关的函数进行编码与解码,不过比urllib 和 urllib3 方便多了。
quote
:负责编码unqoute
:负责解码
例子:
import requests
from urllib.parse import quote,unquote
# 写请求头
headers ={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
# 将中文编码
'name' :quote('李宁')
}
# 发送请求
r = requests.get('http://httpbin.org/get',headers = headers)
# 输出响应体
print(r.text)
# 输出name 请求头的值(需要解码)
print('Name: ',unquote(r.json()['headers']['Name']))
ps:
请求头中的键在响应体中,总是第一个英文字母大写。不管你在代码里写是什么样的。
如:
'name' :quote('李宁')
# 变成
Name :李宁
'NaMe' :quote('李宁')
# 也是变成
Name :李宁
抓取二进制文件
一般获取二进制数据(图片、视频等),需要将数据保存到本地文件中。所以需要调用 Response.content 属性
获得bytes形式的数据。
代码:
上传文件
用requests上传文件也是相当简单的,只需指定post方法的files参数
即可。files参数的值可以是Buffered Reader对象,该对象可以用Python语言的内置函数open返回。
代码:
import requests
from urllib.parse import quote,unquote
# 写请求头
headers ={
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
# 将中文编码
# 'name' :quote('李宁')
}
# 发送请求
link = 'https://tse4-mm.cn.bing.net/th/id/OIP-C.a9A8bFqvNQ_iw7neprKWzwHaKH?w=206&h=282&c=7&o=5&dpr=1.25&pid=1.7'
r = requests.get(link,headers = headers)
print(r.text)
with open('图片1.png','wb') as f:
f.write(r.content)
import requests
# 定义上传的文件,字典中必须有一个key = file 的值,值类型是BfferedReader,可以用open函数返回
files1 = {'file':open('图片1.png','rb')}
r1 = requests.post('http://127.0.0.1:5000/',files = files1)
print(r1.text)
设置Cookie
使用requests 就简单得多,只需要使用cookies属性
就可以得到服务端发送过来的Cookie。设置Cookie也相当简单。有如下2种方法设置Cookie,
- headers参数。
- cookies参数。
get和post方法都有这两个参数,如果使用cookies参数,需要创建Requestookiar对象
,并使用set方法设置每一个Cookie。
在访问某些网站时,只有登录用户才能获得正常显示的内容,所以一般的做法是先在网页上登录。
通过Chrome浏览器的开发者工具得到登录后的Cookie(如图5-8所示),然后将这些Cookie复制,放到文件或直接写到程序中,当客户端请求这些网站时,再将这些Cookie发送给服务端、这样一来,尽管我们并不知道用户名和密码,但由于登录标识保存在Cookie中,所以给服务端发送了Cookie,
就相当于登录了。
最简单就是将Cookie 放到headers中
headers = {
'Host':'csdn.net/?spm=1011.2124.3001.4476',
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.131 Safari/537.36 Edg/92.0.902.73',
'Cookie':'uuid_tt_dd=10_37481955370-1625655302106-686916; Hm_ct_6bcd52f51e9b3dce32bec4a3997715ac=6525*1*10_37481955370-1625655302106-686916!5744*1*qq_39838607......'
}
设置同一个会话(Session)
在requests 中提供了Session 对象,可以无须用户干预Cookie的情况下维持Session。通过Session对象的get、post等方法可以在同一个Session中向服务器发送请求。
代码:
import requests
#创建 Session 对象
session = requests.Session()
# 其中 set/name/Bill 相当于向服务器写入一个名为name 的Cookie
# 第一次发送请求
session.get('http://httpbin.org/cookies/set/name/Bill')
#第二次发送请求
r2 = session.get('http://httpbin.org/cookies')
print(r2.text)
使用代理
requests使用代理发送请求非常容易,只需指定
proxies参数
即可,该参数是一个字典类型的值,每一对 key−value表示一个代理的协议,如http、https等。
代码:
import requests
hesders = {
'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36',
'Host':'jd.com'
}
proxies ={
'http':'http://182.140.244.163:8118',
'https':'https://182.140.244.163:8118'
}
link = 'https://www.jd.com'
r1 = requests.get(link,proxies = proxies,headers= hesders,verify=False)
print(r1.text)