Python接口测试之requests模块详解

本篇将介绍如何使用Requests来做接口测试

首先先确认一下事情:

先从一些简单的例子开始。

创建一个请求

用Requests来创建一个请求是很简单的。

先导入Requests模块:

>>> import requests

我们来尝试获取一个网页。看以下例子:

>>> r = requests.get('https://api.github.com/events')

现在有一个名为r的Response对象。可以从这个对象中获取所有的网页信息。

Requests的简单API意味着所有形式的HTTP请求都是显而易见的。例如,可以这样写POST请求:

>>> r = requests.post('https://httpbin.org/post', data = {'key':'value'})

其他类型的HTTP请求:PUT,DELETE,HEAD和OPTIONS都十分简单:

>>> r = requests.put('https://httpbin.org/put', data = {'key':'value'})
>>> r = requests.delete('https://httpbin.org/delete')
>>> r = requests.head('https://httpbin.org/get')
>>> r = requests.options('https://httpbin.org/get')

在URL中传递参数

你是否希望在URL的查询字符串中发送一些数据。如果手动构建URL,则这些数据会写在问号后作为URL中的key/value给出,如 httpbin.org/get?key=val。Requests允许你使用params关键字参数,将这些参数作为字符串字典提供。举例来说, 如果你想传 key1=value1 和 key2=value2 给 httpbin.org/get, 你可以这样写:

>>> payload = {'key1': 'value1', 'key2': 'value2'}
>>> r = requests.get('https://httpbin.org/get', params=payload)

您可以通过打印URL看到URL已正确编码:

>>> print(r.url)
https://httpbin.org/get?key2=value2&key1=value1

注意任何字典key对应的valule如果为 None 都不会被添加到URL的查询字符串中.

你还可以将列表作为value:

>>> payload = {'key1': 'value1', 'key2': ['value2', 'value3']}

>>> r = requests.get('https://httpbin.org/get', params=payload)
>>> print(r.url)
https://httpbin.org/get?key1=value1&key2=value2&key2=value3

响应内容

我们可以读出服务器响应的内容:

>>> import requests

>>> r = requests.get('https://api.github.com/events')
>>> r.text
u'[{"repository":{"open_issues":0,"url":"https://github.com/...

Requests将自动解码来自服务器的内容。 大多数unicode字符集都是无缝解码的。

当你发出请求时,Requests会根据HTTP头对响应的编码进行有根据的猜测。当你访问 r.text 时,将使用由Requests猜测的文本编码。你可以使用 r.encoding 属性找出Requests正在使用的编码,并进行更改:

>>> r.encoding
'utf-8'
>>> r.encoding = 'ISO-8859-1'

如果更改编码,当你调用 r.text 时,Requests就会使用 r.encoding 的新值。你可能希望在任何可以应用特殊逻辑来计算内容编码的情况下执行此操作。例如,HTML和XML可以在其正文中指定其编码。在这种情况下,你应该使用 r.content 查找编码,然后设置 r.encoding 。这样你在使用 r.text 时就会是正确的编码了。

如果你需要,Requests也可以使用自定义编码。如果你已创建了自己的编码并使用了 codecs 模块注册过了,则只需使用编解码器名称作为 r.encoding 的值,并且Requests将为您处理解码。

二进制响应内容

对于非文本请求,你还可以以字节为单位访问响应正文:

>>> r.content
b'[{"repository":{"open_issues":0,"url":"https://github.com/...

gzip 和 deflate 传输编码会自动为你解码。

例如,要从请求返回的二进制数据创建映像,可以使用以下代码:

>>> from PIL import Image
>>> from io import BytesIO

>>> i = Image.open(BytesIO(r.content))

JSON响应内容

如果你正在处理JSON数据,还有一个内置的JSON解码器:

>>> import requests

>>> r = requests.get('https://api.github.com/events')
>>> r.json()
[{u'repository': {u'open_issues': 0, u'url': 'https://github.com/...

如果JSON解码失败, r.json() 会引发异常。例如,如果响应获得204(无内容),或者响应包含无效的JSON,则尝试 r.json() 会引发 ValueError: No JSON object could be decoded.

应该注意的是,对 r.json() 的调用成功并不表示响应成功。某些服务器可能会在失败的响应中返回JSON对象(例如,使用HTTP 500的错误详细信息)。 这样的JSON将被解码并返回。 要检查请求是否成功,请使用 r.raise_for_status() 或检查 r.status_code 是否符合预期。

原始响应内容

在极少数情况下,你希望从服务器获取原始socket响应,您可以访问 r.raw 。如果要执行此操作,请确保在初始请求中设置 stream=True 。你可以这样写:

>>> r = requests.get('https://api.github.com/events', stream=True)

>>> r.raw
<urllib3.response.HTTPResponse object at 0x101194810>

>>> r.raw.read(10)
'\x1f\x8b\x08\x00\x00\x00\x00\x00\x00\x03'

但是,一般情况下,你应该使用这样的模式来保存流式传输到文件的内容:

with open(filename, 'wb') as fd:
    for chunk in r.iter_content(chunk_size=128):
        fd.write(chunk)

当直接使用 Response.raw 时,使用 Response.iter_content 将处理很多您必须处理的事情。 流式下载时,以上是检索内容的首选和推荐方法。 请注意, chunk_size 可以自由调整为更适合您的用例的数字。

注意

关于使用 Response.iter_content 与 Response.raw的重要说明。 Response.iter_content 将自动解码 gzip 并 deflate 传输编码。 Response.raw 是原始的字节流-它不会转换响应内容。 如果您确实需要访问返回的字节,请使用 Response.raw

自定义Headers

如果您想将HTTP headers添加到请求中,只需将一个 dict 传递给 headers 参数即可。

例如,在上一个示例中,我们没有指定用户代理:

>>> url = 'https://api.github.com/some/endpoint'
>>> headers = {'user-agent': 'my-app/0.0.1'}

>>> r = requests.get(url, headers=headers)

注意:自定义headers的优先级低于更具体的信息源。 例如:

  • 如果在 .netrc中指定了证书,则使用headers =的授权headers将被覆盖,然后将被 auth= 参数覆盖。
  • 如果你脱离主机重定向,则将删除授权headers。
  • URL中提供的代理证书将覆盖Proxy-Authorization headers。
  • 当我们可以确定内容的长度时,Content-Length headers将被覆盖。

此外,“请求”根本不会根据指定的自定义headers更改其行为。 headers只是传递到最终请求中。

注意:所有header的值必须是字符串,字节字符串或unicode。 建议在允许的情况下,避免传递unicodeheader值。

更复杂的POST请求

通常,你希望发送一些表单编码的数据,就像HTML表单一样。 为此,只需将字典传递给 data 参数即可。 提出请求后,您的数据字典将自动进行表单编码:

>>> payload = {'key1': 'value1', 'key2': 'value2'}

>>> r = requests.post("https://httpbin.org/post", data=payload)
>>> print(r.text)
{
  ...
  "form": {
    "key2": "value2",
    "key1": "value1"
  },
  ...
}

data 参数中一个key可以有多个value。 这可以通过使 data 成为元组列表或以列表为值的字典来完成。 当表单具有使用同一key的多个元素时,这特别有用:

>>> payload_tuples = [('key1', 'value1'), ('key1', 'value2')]
>>> r1 = requests.post('https://httpbin.org/post', data=payload_tuples)
>>> payload_dict = {'key1': ['value1', 'value2']}
>>> r2 = requests.post('https://httpbin.org/post', data=payload_dict)
>>> print(r1.text)
{
  ...
  "form": {
    "key1": [
      "value1",
      "value2"
    ]
  },
  ...
}
>>> r1.text == r2.text
True

有时候,你可能想发送未经格式编码的数据。 如果您传递的是 string 而不是 dic,则该数据将直接发布。

例如,GitHub API v3接受JSON编码的POST / PATCH数据:

>>> import json

>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}

>>> r = requests.post(url, data=json.dumps(payload))

除了自己对 dict 进行编码外,您还可以使用 json 参数(版本2.4.2中添加)直接传递它,它将自动进行编码:

>>> url = 'https://api.github.com/some/endpoint'
>>> payload = {'some': 'data'}

>>> r = requests.post(url, json=payload)

请注意,如果传了 data 或 files ,则会忽略 json 参数。

在请求中使用 json 参数会将header中的 Content-Type 更改为 application/json

发布多部分编码的文件

通过请求,可以轻松上传多部分编码的文件:

>>> url = 'https://httpbin.org/post'
>>> files = {'file': open('report.xls', 'rb')}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

你还可以设置文件名,content_type和headers:

>>> url = 'https://httpbin.org/post'
>>> files = {'file': ('report.xls', open('report.xls', 'rb'), 'application/vnd.ms-excel', {'Expires': '0'})}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "<censored...binary...data>"
  },
  ...
}

如果需要,你还可以发送字符串作为文件接收:

>>> url = 'https://httpbin.org/post'
>>> files = {'file': ('report.csv', 'some,data,to,send\nanother,row,to,send\n')}

>>> r = requests.post(url, files=files)
>>> r.text
{
  ...
  "files": {
    "file": "some,data,to,send\\nanother,row,to,send\\n"
  },
  ...
}

如果你要发布很大的文件作为一个 multipart/form-data 请求,则可能需要流式传输请求。 默认情况下, requests 不支持此功能,但是有一个单独的软件包-requests-toolbelt。 你应该阅读 the toolbelt’s documentation 以获取有关使用方法的更多详细信息。

要在一个请求中发送多个文件,请参阅 advanced 部分。

警告

强烈建议您以二进制模式打开文件。 这是因为请求可能会尝试为您提供 Content-Length header,如果这样做,此值将被设置为文件中的字节数(bytes)。 如果以文本模式(text mode)打开文件,可能会发生错误。

响应状态码

我们可以检查响应状态代码:

>>> r = requests.get('https://httpbin.org/get')
>>> r.status_code
200

请求还带有内置的状态码查找对象,以方便参考:

>>> r.status_code == requests.codes.ok
True

如果我们提出了错误的请求(4XX客户端错误或5XX服务器错误响应),则可以使用 Response.raise_for_status()引发该请求:

>>> bad_r = requests.get('https://httpbin.org/status/404')
>>> bad_r.status_code
404

>>> bad_r.raise_for_status()
Traceback (most recent call last):
  File "requests/models.py", line 832, in raise_for_status
    raise http_error
requests.exceptions.HTTPError: 404 Client Error

但是,由于我们的r状态代码为200,所以当我们调用 raise_for_status() 时,我们得到:

>>> r.raise_for_status()
None

 

响应Headers

我们可以使用Python字典查看服务器的响应headers:

>>> r.headers
{
    'content-encoding': 'gzip',
    'transfer-encoding': 'chunked',
    'connection': 'close',
    'server': 'nginx/1.0.4',
    'x-runtime': '148ms',
    'etag': '"e1ca502697e5c9317743dc078f67693f"',
    'content-type': 'application/json'
}

不过,字典很特殊:它仅用于HTTP headers。 根据 RFC 7230,HTTP Header名称不区分大小写。

因此,我们可以使用所需的任何大写字母访问标头:

>>> r.headers['Content-Type']
'application/json'

>>> r.headers.get('content-type')
'application/json'

还有特别之处在于,服务器可以多次发送具有不同值的相同header,但是请求将它们组合在一起,以便可以按照 RFC 7230在单个映射中的字典中表示它们:

接收者可以通过将每个随后的字段值按顺序附加到合并后的字段值上并用逗号分隔,将多个具有相同字段名的头字段组合成一对“field-name: field-value”,而不改变消息的语义。

Cookies

如果响应中包含一些Cookie,你可以快速访问它们:

>>> url = 'http://example.com/some/cookie/setting/url'
>>> r = requests.get(url)

>>> r.cookies['example_cookie_name']
'example_cookie_value'

要将你自己的cookie发送到服务器,可以使用 cookies 参数:

>>> url = 'https://httpbin.org/cookies'
>>> cookies = dict(cookies_are='working')

>>> r = requests.get(url, cookies=cookies)
>>> r.text
'{"cookies": {"cookies_are": "working"}}'

Cookie是在RequestsCookieJar中返回的,其行为类似于 dict ,但还提供了更完整的界面,适用于多个域或路径。 Cookie jars也可以传递给请求:

>>> jar = requests.cookies.RequestsCookieJar()
>>> jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies')
>>> jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere')
>>> url = 'https://httpbin.org/cookies'
>>> r = requests.get(url, cookies=jar)
>>> r.text
'{"cookies": {"tasty_cookie": "yum"}}'

重定向和历史

默认情况下,请求将对HEAD以外的所有动词执行位置重定向。

我们可以使用Response对象的 history 属性来跟踪重定向。

Response.history 列表包含为完成请求而创建的 Response 对象。 该列表按从最早到最新的响应排序。

例如,GitHub将所有HTTP请求重定向到HTTPS:

>>> r = requests.get('http://github.com/')

>>> r.url
'https://github.com/'

>>> r.status_code
200

>>> r.history
[<Response [301]>]

如果您使用的是GET,OPTIONS,POST,PUT,PATCH或DELETE,则可以使用 allow_redirects 参数禁用重定向处理:

>>> r = requests.get('http://github.com/', allow_redirects=False)

>>> r.status_code
301

>>> r.history
[]

如果你使用的是HEAD,则还可以启用重定向:

>>> r = requests.head('http://github.com/', allow_redirects=True)

>>> r.url
'https://github.com/'

>>> r.history
[<Response [301]>]

超时

你可以使用 timeout 参数告诉请求在给定的秒数后停止等待响应。 几乎所有生产代码都应在几乎所有请求中使用此参数。 否则,可能会导致程序无限期挂起:

>>> requests.get('https://github.com/', timeout=0.001)
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
requests.exceptions.Timeout: HTTPConnectionPool(host='github.com', port=80): Request timed out. (timeout=0.001)

注意

timeout 不是整个响应下载的时间限制; 相反,如果服务器在 timeout 秒数内未发出响应(更确切地说,如果在 timeout 秒数内未在基础套接字上接收到任何字节),则会引发异常。 如果未明确指定超时,则请求不会超时。

错误和异常

Requests will raise a ConnectionError exception.如果出现网络问题(例如DNS故障,连接被拒绝等),请求将引发 ConnectionError 异常。

如果HTTP请求返回的状态码失败,则Response.raise_for_status()将引发 HTTPError 。

如果请求超时,则会引发超时异常。

如果请求超过配置的最大重定向数,则会引发 TooManyRedirects 异常。

请求显式引发的所有异常均继承自 requests.exceptions.RequestException

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值