Python网络编程：HTTP请求（requests模块）

在现代编程中，HTTP请求几乎无处不在。无论是数据抓取、API调用还是与远程服务器进行交互，HTTP请求都是不可或缺的一部分。在Python中，requests模块被广泛认为是发送HTTP请求的最简便和强大的工具之一。本文将详细介绍requests模块的功能，并通过一个综合示例展示其应用。

一、requests模块简介

requests模块是一个用于发送HTTP请求的第三方库，其设计初衷是简化HTTP请求的发送和处理。与Python标准库中的urllib相比，requests提供了更直观和便捷的API，使开发者能够快速编写功能强大的HTTP客户端。

1.1 安装requests模块

在使用requests模块之前，需要先安装它。可以使用pip进行安装：

pip install requests

1.2 导入requests模块

安装完成后，可以在Python脚本中导入requests模块：

import requests

二、发送HTTP请求

requests模块支持多种类型的HTTP请求，包括GET、POST、PUT、DELETE等。下面将逐一介绍这些请求的用法。

2.1 GET请求

GET请求用于从服务器获取数据。requests.get方法可以发送一个GET请求，并返回一个响应对象。

示例：

import requests

response = requests.get('https://api.github.com')
print(response.status_code)
print(response.text)

在这个示例中，我们向GitHub API发送了一个GET请求，并打印了响应的状态码和响应内容。

2.2 POST请求

POST请求用于向服务器提交数据。requests.post方法可以发送一个POST请求，并返回一个响应对象。

示例：

import requests

data = {'key': 'value'}
response = requests.post('https://httpbin.org/post', data=data)
print(response.status_code)
print(response.json())

在这个示例中，我们向httpbin.org发送了一个POST请求，并提交了一个包含键值对的数据。

2.3 PUT请求

PUT请求用于更新服务器上的资源。requests.put方法可以发送一个PUT请求，并返回一个响应对象。

示例：

import requests

data = {'key': 'new_value'}
response = requests.put('https://httpbin.org/put', data=data)
print(response.status_code)
print(response.json())

在这个示例中，我们向httpbin.org发送了一个PUT请求，并提交了一个包含更新数据的请求体。

2.4 DELETE请求

DELETE请求用于删除服务器上的资源。requests.delete方法可以发送一个DELETE请求，并返回一个响应对象。

示例：

import requests

response = requests.delete('https://httpbin.org/delete')
print(response.status_code)
print(response.json())

在这个示例中，我们向httpbin.org发送了一个DELETE请求，并打印了响应的状态码和响应内容。

三、请求参数和头信息

在实际应用中，通常需要在请求中包含参数和头信息。requests模块提供了便捷的方式来添加这些信息。

3.1 URL参数

可以使用params参数向URL中添加查询参数。

示例：

import requests

params = {'q': 'python'}
response = requests.get('https://www.google.com/search', params=params)
print(response.url)

在这个示例中，我们向Google搜索添加了查询参数q=python。

3.2 请求头

可以使用headers参数添加自定义请求头。

示例：

import requests

headers = {'User-Agent': 'my-app'}
response = requests.get('https://api.github.com', headers=headers)
print(response.status_code)
print(response.headers)

在这个示例中，我们向GitHub API添加了自定义的User-Agent请求头。

四、响应处理

requests模块返回的响应对象包含丰富的信息和方法，方便我们处理HTTP响应。

4.1 状态码

可以通过响应对象的status_code属性获取HTTP状态码。

示例：

import requests

response = requests.get('https://api.github.com')
print(response.status_code)

4.2 响应内容

可以通过响应对象的text和json方法获取响应内容。

示例：

import requests

response = requests.get('https://api.github.com')
print(response.text)   # 以字符串形式获取响应内容
print(response.json()) # 以JSON形式获取响应内容

4.3 响应头

可以通过响应对象的headers属性获取响应头信息。

示例：

import requests

response = requests.get('https://api.github.com')
print(response.headers)

五、文件上传和下载

在实际应用中，常常需要上传和下载文件。requests模块提供了便捷的文件处理方法。

5.1 文件上传

可以使用files参数上传文件。

示例：

import requests

files = {'file': open('test.txt', 'rb')}
response = requests.post('https://httpbin.org/post', files=files)
print(response.status_code)
print(response.json())

5.2 文件下载

可以使用响应对象的content属性保存下载的文件。

示例：

import requests

response = requests.get('https://www.example.com/image.jpg')
with open('image.jpg', 'wb') as file:
    file.write(response.content)

六、处理Cookies

requests模块可以自动处理Cookies，并允许手动设置和获取Cookies。

6.1 自动处理Cookies

示例：

import requests

session = requests.Session()
session.get('https://httpbin.org/cookies/set?name=value')
response = session.get('https://httpbin.org/cookies')
print(response.json())

6.2 手动设置和获取Cookies

示例：

import requests

cookies = {'name': 'value'}
response = requests.get('https://httpbin.org/cookies', cookies=cookies)
print(response.json())

七、超时和重试

为了防止请求长时间等待，可以设置超时时间。此外，可以通过第三方库实现请求重试机制。

7.1 设置超时时间

示例：

import requests

try:
    response = requests.get('https://www.example.com', timeout=5)
    print(response.status_code)
except requests.exceptions.Timeout:
    print('Request timed out')

7.2 实现请求重试

可以使用requests与urllib3库结合实现请求重试。

示例：

import requests
from requests.adapters import HTTPAdapter
from requests.packages.urllib3.util.retry import Retry

session = requests.Session()
retry = Retry(total=3, backoff_factor=0.1)
adapter = HTTPAdapter(max_retries=retry)
session.mount('http://', adapter)
session.mount('https://', adapter)

try:
    response = session.get('https://www.example.com')
    print(response.status_code)
except requests.exceptions.RequestException as e:
    print(f'Request failed: {e}')

八、综合示例

下面是一个综合示例，展示了如何使用requests模块实现一个简单的API客户端，获取GitHub用户的公开信息，并将结果保存为JSON文件。

import requests
import json

def fetch_github_user(username):
    url = f'https://api.github.com/users/{username}'
    response = requests.get(url)
    if response.status_code == 200:
        return response.json()
    else:
        response.raise_for_status()

def save_to_file(data, filename):
    with open(filename, 'w') as file:
        json.dump(data, file, indent=4)

def main():
    username = 'octocat'
    user_data = fetch_github_user(username)
    print(f'Fetched data for {username}:')
    print(json.dumps(user_data, indent=4))
    
    filename = f'{username}.json'
    save_to_file(user_data, filename)
    print(f'Data saved to {filename}')

if __name__ == '__main__':
    main()

运行结果：

Fetched data for octocat:
{
    "login": "octocat",
    "id": 583231,
    "node_id": "MDQ6VXNlcjU4MzIzMQ==",
    ...
}
Data saved to octocat.json

结论

本文详细介绍了Python的requests模块，包括发送各种类型的HTTP请求、处理请求参数和头信息、处理响应、文件上传和下载、处理Cookies、设置超时和实现请求重试等内容。通过综合示例，展示了如何使用requests模块实现一个简单的API客户端。希望本文能够帮助读者更好地理解和掌握requests模块，为实际项目开发提供有力支持。

作者：Rjdeng
链接：https://juejin.cn/post/7398479291263500324