requests
是一个非常流行的用于在 Python 中进行 HTTP 请求的库。以下是对requests
库的详细介绍:
一、安装
可以使用 pip 进行安装:
pip install requests
二、主要功能特点
-
简洁易用的 API
requests
提供了非常简洁直观的函数来发送各种 HTTP 请求,如get()
、post()
、put()
、delete()
等,让开发者可以轻松地与各种 Web 服务进行交互。- 例如,发送一个 GET 请求只需要一行代码:
response = requests.get('https://example.com')
。
-
支持多种请求方法
- 涵盖了常见的 HTTP 请求方法,包括 GET、POST、PUT、DELETE、HEAD、OPTIONS 等。可以根据不同的需求选择合适的请求方法。
- 例如,发送一个 POST 请求并传递数据:
response = requests.post('https://example.com/api', data={'key': 'value'})
。
-
处理请求参数和 headers
- 可以方便地添加请求参数和自定义 headers。
- 对于 GET 请求,可以将参数作为字典传递给
params
参数:response = requests.get('https://example.com/api', params={'param1': 'value1', 'param2': 'value2'})
。 - 对于 POST 请求,可以将数据作为字典传递给
data
参数或使用json
参数传递 JSON 格式的数据。同时,可以通过headers
参数设置自定义 headers:headers = {'User-Agent': 'MyApp/1.0'},response = requests.post('https://example.com/api', data={'key': 'value'}, headers=headers)
。
-
处理响应数据
requests
返回的Response
对象包含了丰富的信息,可以方便地获取响应状态码、响应 headers、响应内容等。- 可以通过
response.status_code
获取响应状态码,通过response.headers
获取响应 headers,通过response.text
获取响应的文本内容,通过response.json()
获取 JSON 格式的响应数据(如果响应是 JSON 格式)。
-
处理异常
requests
会自动处理一些常见的 HTTP 错误,如 404 Not Found、500 Internal Server Error 等,并抛出相应的异常。开发者可以使用try-except
语句来捕获这些异常并进行处理。- 例如:
try:
response = requests.get('https://example.com/api')
except requests.exceptions.RequestException as e:
print(f"请求出现错误:{e}")
-
支持会话(Sessions)
requests
提供了Session
对象,可以在多个请求之间保持某些参数(如 cookies)的一致性。这对于需要登录或进行一系列相关请求的场景非常有用。- 例如:
session = requests.Session()
response1 = session.get('https://example.com/login', data={'username': 'user', 'password': 'pass'})
response2 = session.get('https://example.com/profile')
-
支持超时设置
- 可以通过
timeout
参数设置请求的超时时间,避免长时间等待无响应的请求。 - 例如:
response = requests.get('https://example.com/api', timeout=5)
表示设置超时时间为 5 秒。
- 可以通过
-
支持代理设置
- 可以通过
proxies
参数设置代理服务器,用于访问被限制的资源或隐藏真实 IP 地址。 - 例如:
proxies = {'http': 'http://proxy.example.com:8080', 'https': 'https://proxy.example.com:8080'},response = requests.get('https://example.com/api', proxies=proxies)
。
- 可以通过
三、应用场景
-
网页抓取和数据采集
- 可以使用
requests
从网页上获取数据,进行网页抓取和数据采集任务。可以结合解析库如BeautifulSoup
或lxml
来提取所需的信息。 - 例如,抓取一个网页的内容并提取其中的标题:
- 可以使用
import requests
from bs4 import BeautifulSoup
response = requests.get('https://example.com')
soup = BeautifulSoup(response.text, 'html.parser')
title = soup.title.string
print(title)
-
与 Web API 交互
- 许多 Web 服务提供了 API,可以使用
requests
与这些 API 进行交互,获取数据或执行操作。 - 例如,调用一个天气预报 API 获取天气信息:
- 许多 Web 服务提供了 API,可以使用
response = requests.get('https://api.weather.com/forecast', params={'location': 'New York'})
weather_data = response.json()
print(weather_data['description'])
-
自动化测试
- 在自动化测试中,可以使用
requests
模拟用户请求,测试 Web 应用的功能和性能。 - 例如,测试一个登录功能是否正常:
- 在自动化测试中,可以使用
response1 = requests.post('https://example.com/login', data={'username': 'user', 'password': 'pass'})
assert response1.status_code == 200
response2 = requests.get('https://example.com/profile')
assert response2.status_code == 200
总之,requests
库是一个功能强大、简洁易用的 Python 库,广泛应用于各种与 HTTP 请求相关的场景,大大简化了与 Web 服务进行交互的过程。
制作不易,请多多支持。