在现代编程中,HTTP请求几乎无处不在。无论是数据抓取、API调用还是与远程服务器进行交互,HTTP请求都是不可或缺的一部分。在Python中,requests模块被广泛认为是发送HTTP请求的最简便和强大的工具之一。本文将详细介绍requests模块的功能,并通过一个综合示例展示其应用。
一、requests模块简介
requests模块是一个用于发送HTTP请求的第三方库,其设计初衷是简化HTTP请求的发送和处理。与Python标准库中的urllib相比,requests提供了更直观和便捷的API,使开发者能够快速编写功能强大的HTTP客户端。
1.1 安装requests模块
在使用requests模块之前,需要先安装它。可以使用pip进行安装:
pip install requests
1.2 导入requests模块
安装完成后,可以在Python脚本中导入requests模块:
import requests
二、发送HTTP请求
requests模块支持多种类型的HTTP请求,包括GET、POST、PUT、DELETE等。下面将逐一介绍这些请求的用法。
2.1 GET请求
GET请求用于从服务器获取数据。requests.get方法可以发送一个GET请求,并返回一个响应对象。
示例:
import requests
response = requests.get('https://api.github.com')
print(response.status_code)
print(response.text)
在这个示例中,我们向GitHub API发送了一个GET请求,并打印了响应的状态码和响应内容。
2.2 POST请求
POST请求用于向服务器提交数据。requests.post方法可以发送一个POST请求,并返回一个响应对象。
示例:
import requests
data = {'key': 'value'}
response = requests.post('https://httpbin.org/post', data=data)
print(response.status_code)
print(response.json())
在这个示例中,我们向httpbin.org发送了一个POST请求,并提交了一个包含键值对的数据。
2.3 PUT请求
PUT请求用于更新服务器上的资源。requests.put方法可以发送一个PUT请求,并返回一个响应对象。
示例:
import requests
data = {'key': 'new_value'}
response = requests.put('https://httpbin.org/put', data=data)
print(response.status_code)
print(response.json())
在这个示例中,我们向httpbin.org发送了一个PUT请求,并提交了一个包含更新数据的请求体。
2.4 DELETE请求
DELETE请求用于删除服务器上的资源。requests.delete方法可以发送一个DELETE请求,并返回一个响应对象。
示例:
import requests
response = requests.delete('https://httpbin.org/delete')
print(response.status_code)
print(response.json())
在这个示例中,我们向httpbin.org发送了一个DELETE请求,并打印了响应的状态码和响应内容。
三、请求参数和头信息
在实际应用中,通常需要在请求中包含参数和头信息。requests模块提供了便捷的方式来添加这些信息。
3.1 URL参数
可以使用params参数向URL中添加查询参数。
示例:
import requests
params = {'q': 'python'}
response = requests.get('https://www.google.com/search', params=params)
print(response.url)
在这个示例中,我们向Google搜索添加了查询参数q=python。
3.2 请求头
可以使用headers参数添加自定义请求头。
示例:
import requests
headers = {'User-Agent': 'my-app'}
response = requests.get('https://api.github.com', headers=headers)
print(response.status_code)
print(response.headers)
在这个示例中,我们向GitHub API添加了自定义的User-Agent请求头。
四、响应处理
requests模块返回的响应对象包含丰富的信息和方法,方便我们处理HTTP响应。
4.1 状态码
可以通过响应对象的status_code属性获取HTTP状态码。
示例:
import requests
response = requests.get('https://api.github.com')
print(response.status_code)
4.2 响应内容
可以通过响应对象的text和json方法获取响应内容。
示例:
import requests
response = requests.get('https://api.github.com')
print(response.text) # 以字符串形式获取响应内容
print(response.json()) # 以JSON形式获取响应内容
4.3 响应头
可以通过响应对象的headers属性获取响应头信息。
示例:
import requests
response = requests.get('https://api.github.com')
print(response.headers)
五、文件上传和下载
在实际应用中,常常需要上传和下载文件。requests模块提供了便捷的文件处理方法。
5.1 文件上传
可以使用files参数上传文件。
示例:
import requests
files = {'file': open('test.txt', 'rb')}
response = requests.post('https://httpbin.org/post', files=files)
print(response.status_code)
print(response.json())
5.2 文件下载
可以使用响应对象的content属性保存下载的文件。
示例:
import requests
response = requests.get('https://www.example.com/image.jpg')
with open('image.jpg', 'wb') as file:
file.write(response.content)
六、处理Cookies
requests模块可以自动处理Cookies,并允许手动设置和获取Cookies。
6.1 自动处理Cookies
示例:
import requests
session = requests.Session()
session.get('https://httpbin.org/cookies/set?name=value')
response = session.get('https://httpbin.org/cookies')
print(response.json())
6.2 手动设置和获取Cookies
示例:
import requests
cookies = {'name': 'value'}
response = requests.get('https://httpbin.org/cookies', cookies=cookies)
print(response.json())
七、超时和重试
为了防止请求长时间等待,可以设置超时时间。此外,可以通过第三方库实现请求重试机制。
7.1 设置超时时间
示例:
import requests
try:
response = requests.get('https://www.example.com', timeout=5)
print(response.status_code)
except requests.exceptions.Timeout:
print('Request timed out')
7.2 实现请求重试
可以使用requests与urllib3库结合实现请求重试。
示例:
import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry
session = requests.Session()
retry = Retry(total=3, backoff_factor=0.1)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)
try:
response = session.get('https://www.example.com')
print(response.status_code)
except requests.exceptions.RequestException as e:
print(f'Request failed: {e}')
八、综合示例
下面是一个综合示例,展示了如何使用requests模块实现一个简单的API客户端,获取GitHub用户的公开信息,并将结果保存为JSON文件。
import requests
import json
def fetch_github_user(username):
url = f'https://api.github.com/users/{username}'
response = requests.get(url)
if response.status_code == 200:
return response.json()
else:
response.raise_for_status()
def save_to_file(data, filename):
with open(filename, 'w') as file:
json.dump(data, file, indent=4)
def main():
username = 'octocat'
user_data = fetch_github_user(username)
print(f'Fetched data for {username}:')
print(json.dumps(user_data, indent=4))
filename = f'{username}.json'
save_to_file(user_data, filename)
print(f'Data saved to {filename}')
if __name__ == '__main__':
main()
运行结果:
Fetched data for octocat:
{
"login": "octocat",
"id": 583231,
"node_id": "MDQ6VXNlcjU4MzIzMQ==",
...
}
Data saved to octocat.json
结论
本文详细介绍了Python的requests模块,包括发送各种类型的HTTP请求、处理请求参数和头信息、处理响应、文件上传和下载、处理Cookies、设置超时和实现请求重试等内容。通过综合示例,展示了如何使用requests模块实现一个简单的API客户端。希望本文能够帮助读者更好地理解和掌握requests模块,为实际项目开发提供有力支持。
作者:Rjdeng
链接:https://juejin.cn/post/7398479291263500324