requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池,支持使用cookie保持会话,支持文件上传,支持自动确定响应内容的编码,支持国际化的 URL 和 POST 数据自动编码。可以说request是python接口测试中非常重要的一个内容。
request主要功能
- 发起请求(主要是get和post请求)
- 获取结果
发起请求
发起get请求
没有参数时,我们直接可以发起get请求,输入url即可。
import requests
requests.get("https://www.baidu.com")
有参数时,我们通过之前的学习知道get请求传参在url中。在request中,python会将参数自行封装进url中,我们只需要将参数以字典的形式传入get方法的params参数中即可。
import requests
data={ 'wd':'a'}
url='https://www.baidu.com/s'
requests.get(url=url,params=data)
发起post请求
通过之前的学习我们知道post的Content-Type的格式有四种:分别是application/x-www-form-urlencoded(这也是默认格式)、application/json、text/xml以及multipart/form-data格式。
1.application/x-www-form-urlencoded数据格式。Reqeusts支持以application/x-www-form-urlencoded数据格式发送post请求,只需要将请求的参数构造成一个字典,然后传给requests.post()的data参数即可。
import requests
datas = {'parameter1':'12345','parameter2':'23456'}
requests.post('http://example.com',data=datas)
2.application/json数据格式 。application/json格式的请求头是指用来告诉服务端post过去的消息主体是序列化后的 JSON 字符串
import requests
url = 'http://www.example/post'
s = json.dumps({'key1': 'value1', 'key2': 'value2'})
r = requests.post(url, data=s)
3.text/xml数据格式
import requests
xml = """my xml"""
headers = {'Content-Type': 'application/xml'}
requests.post('http://www.example.com', data=xml, headers=headers)
或者把xml作为一个文件来传输:
import requests
def request_ws(request):
with open(archivo_request,"r") as archivo:
request_data = archivo.read()
target_url = "http://127.0.0.1:8000/?wsdl"
headers = {'Content-type':'text/xml'}
data_response = requests.post(target_url, data=request_data, headers=headers)
4.multipart/form-data数据格式
除了application/x-www-form-urlencoded表单,我们另一个经常用到的是上传文件用的表单,这种表单的类型为multipart/form-data,
multipart/form-data主要用于文件上传,当我们使用它时,必须让 form表单的enctype 等于 multipart/form-data
直接来看一个请求示例,主要:
请看代码(实现上传本地的test.txt文件):
import requests
files = {"file": open("C:/Users/Administrator/Desktop/test.txt", "rb")}
r = requests.post("http://httpbin.org/post", files=files)
print(r.text)
设置session
从之前的学习中我们知道很多post请求都需要建立在会话连接的情况下(如登录了才能将东西添加购物车),这里我们需要用到保持session。当然如果不觉得麻烦的话,你也可以登录后将返回的session值获取到保存下次放入请求头中也可以。
import requests
url = 'http://beanhome.com/user/login'
header = {
"Content-Type": 'application/json',
"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_5) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/76.0.3809.87 Safari/537.36"
}
# Python字典数据转为json,需要使用json.dumps
data = {
"email": "common@moviebook.com",
"passwd": "123456"
}
# 通过session模拟登录,每次请求带着session
sess = requests.Session()
f = sess.post(url, data=json.dumps(data), headers=header)
这里的sess以后就可以保持住会话。
关于请求头
由于很多网站都有设置反爬虫以及其他的一些设置,我们需要假装自己是浏览器。这里我们在请求头设置一下:
import requests
Headers={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36"
}
url = 'http://www.example/post'
s = json.dumps({'key1': 'value1', 'key2': 'value2'})
r = requests.post(url, data=s,headers=Headers)
设置代理
如果需要使用代理,你可以通过为任意请求方法提供 proxies 参数来配置单个请求:
import requests
# 根据协议类型,选择不同的代理
proxies = {
"http": "http://12.34.56.79:9527",
"https": "http://12.34.56.79:9527",
}
response = requests.get("http://www.baidu.com", proxies = proxies)
处理HTTPS请求 SSL证书验证
Requests也可以为HTTPS请求验证SSL证书:
import requests
response = requests.get("https://www.12306.cn/mormhweb/", verify = False)
print response.text
认证设置
如果碰到需要认证的网站可以通过requests.auth模块实现
import requests
from requests.auth import HTTPBasicAuth
#方法一
r = requests.get('http://120.27.34.24:9001', auth=HTTPBasicAuth('user', '123'))
#方法二<br>r = requests.get('http://120.27.34.24:9001', auth=('user', '123'))
print(r.status_code)