《Python requests 库详解》

requests是一个非常流行的用于在 Python 中进行 HTTP 请求的库。以下是对requests库的详细介绍：

一、安装

可以使用 pip 进行安装：

pip install requests

二、主要功能特点

1. 简洁易用的 API

   • requests提供了非常简洁直观的函数来发送各种 HTTP 请求，如get()、post()、put()、delete()等，让开发者可以轻松地与各种 Web 服务进行交互。
   • 例如，发送一个 GET 请求只需要一行代码：response = requests.get('https://example.com')。

2. 支持多种请求方法

   • 涵盖了常见的 HTTP 请求方法，包括 GET、POST、PUT、DELETE、HEAD、OPTIONS 等。可以根据不同的需求选择合适的请求方法。
   • 例如，发送一个 POST 请求并传递数据：response = requests.post('https://example.com/api', data={'key': 'value'})。

3. 处理请求参数和 headers

   • 可以方便地添加请求参数和自定义 headers。
   • 对于 GET 请求，可以将参数作为字典传递给params参数：response = requests.get('https://example.com/api', params={'param1': 'value1', 'param2': 'value2'})。
   • 对于 POST 请求，可以将数据作为字典传递给data参数或使用json参数传递 JSON 格式的数据。同时，可以通过headers参数设置自定义 headers：headers = {'User-Agent': 'MyApp/1.0'}，response = requests.post('https://example.com/api', data={'key': 'value'}, headers=headers)。

4. 处理响应数据

   • requests返回的Response对象包含了丰富的信息，可以方便地获取响应状态码、响应 headers、响应内容等。
   • 可以通过response.status_code获取响应状态码，通过response.headers获取响应 headers，通过response.text获取响应的文本内容，通过response.json()获取 JSON 格式的响应数据（如果响应是 JSON 格式）。

5. 处理异常

   • requests会自动处理一些常见的 HTTP 错误，如 404 Not Found、500 Internal Server Error 等，并抛出相应的异常。开发者可以使用try-except语句来捕获这些异常并进行处理。
   • 例如：

     try:
         response = requests.get('https://example.com/api')
     except requests.exceptions.RequestException as e:
         print(f"请求出现错误：{e}")

1. 支持会话（Sessions）

   • requests提供了Session对象，可以在多个请求之间保持某些参数（如 cookies）的一致性。这对于需要登录或进行一系列相关请求的场景非常有用。
   • 例如：

     session = requests.Session()
     response1 = session.get('https://example.com/login', data={'username': 'user', 'password': 'pass'})
     response2 = session.get('https://example.com/profile')

1. 支持超时设置

   • 可以通过timeout参数设置请求的超时时间，避免长时间等待无响应的请求。
   • 例如：response = requests.get('https://example.com/api', timeout=5)表示设置超时时间为 5 秒。

2. 支持代理设置

   • 可以通过proxies参数设置代理服务器，用于访问被限制的资源或隐藏真实 IP 地址。
   • 例如：proxies = {'http': 'http://proxy.example.com:8080', 'https': 'https://proxy.example.com:8080'}，response = requests.get('https://example.com/api', proxies=proxies)。

三、应用场景

1. 网页抓取和数据采集

   • 可以使用requests从网页上获取数据，进行网页抓取和数据采集任务。可以结合解析库如BeautifulSoup或lxml来提取所需的信息。
   • 例如，抓取一个网页的内容并提取其中的标题：

     import requests
     from bs4 import BeautifulSoup

     response = requests.get('https://example.com')
     soup = BeautifulSoup(response.text, 'html.parser')
     title = soup.title.string
     print(title)

1. 与 Web API 交互

   • 许多 Web 服务提供了 API，可以使用requests与这些 API 进行交互，获取数据或执行操作。
   • 例如，调用一个天气预报 API 获取天气信息：

     response = requests.get('https://api.weather.com/forecast', params={'location': 'New York'})
     weather_data = response.json()
     print(weather_data['description'])

1. 自动化测试

   • 在自动化测试中，可以使用requests模拟用户请求，测试 Web 应用的功能和性能。
   • 例如，测试一个登录功能是否正常：

     response1 = requests.post('https://example.com/login', data={'username': 'user', 'password': 'pass'})
     assert response1.status_code == 200
     response2 = requests.get('https://example.com/profile')
     assert response2.status_code == 200

总之，requests库是一个功能强大、简洁易用的 Python 库，广泛应用于各种与 HTTP 请求相关的场景，大大简化了与 Web 服务进行交互的过程。

制作不易，请多多支持。