【Python库详解】 Requests

已于 2025-04-14 21:06:09 修改
阅读量1.7k 收藏 18
点赞数 36
分类专栏： 【每天进步一点点】Python学习 文章标签： python 开发语言
于 2025-04-11 22:33:10 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_56664222/article/details/147155221
版权

目录

    • 简介
    • 一、安装与导入
      • 安装
      • 导入
    • 二、发送 HTTP 请求
      • 1. GET 请求
        • 基本请求
        • URL 参数
      • 2. POST 请求
        • 表单数据提交
        • JSON 数据提交
        • 文件上传
      • 3. 其他方法
        • PUT 请求示例
        • DELETE 请求示例
    • 三、处理响应
      • 1. 响应内容解析
        • 文本内容处理
        • 二进制内容处理
        • JSON 数据处理
      • 2. 响应状态与头信息
        • 状态码检查
        • 异常处理
        • 响应头解析
    • 四、高级功能
      • 1. 会话（Session）管理
      • 2. 代理设置
      • 3. 超时控制
      • 4. SSL 验证
        • 禁用验证（测试环境使用）
        • 自定义证书
    • 五、异常处理
      • 完整异常处理示例
    • 六、其他实用功能
      • 1. Cookie 操作
      • 2. 重定向控制
      • 3. 流式下载大文件
      • 4. 身份认证
    • 七、最佳实践
      • 推荐做法
      • 特点说明

简介

requests 是 Python 中最流行的 HTTP 客户端库，以简洁的 API 设计和强大的功能著称。以下是其核心知识点的详细说明及代码示例。

一、安装与导入

安装

# 使用 pip 安装 requests 库
pip install requests

导入

# 导入 requests 模块
import requests

二、发送 HTTP 请求

1. GET 请求

基本请求
# 发送一个简单的 GET 请求
response = requests.get("https://api.example.com/data")
print("响应状态码:", response.status_code)
URL 参数
# 通过 params 参数传递 URL 查询参数
params = {
    "page": 1,          # 当前页码
    "limit": 10,        # 每页数据量
    "sort": "desc"      # 排序方式
}
response = requests.get("https://api.example.com/items", params=params)
print("实际请求的 URL:", response.url)  # 输出构造后的完整 URL

2. POST 请求

表单数据提交
# 模拟表单提交（Content-Type: application/x-www-form-urlencoded）
form_data = {
    "username": "admin",
    "password": "secret"
}
response = requests.post("https://api.example.com/login", data=form_data)
print("登录响应:", response.text)
JSON 数据提交
# 发送 JSON 格式数据（Content-Type: application/json）
user_info = {
    "name": "Alice",
    "age": 25,
    "email": "alice@example.com"
}
response = requests.post("https://api.example.com/users", json=user_info)
print("创建用户结果:", response.json())
文件上传
# 上传本地文件（Content-Type: multipart/form-data）
with open("report.pdf", "rb") as file:  # 以二进制模式打开文件
    files = {"document": ("report.pdf", file, "application/pdf")}
    response = requests.post("https://api.example.com/upload", files=files)
print("文件上传结果:", response.json())

3. 其他方法

PUT 请求示例
# 更新资源（例如修改用户信息）
update_data = {"email": "new_email@example.com"}
response = requests.put("https://api.example.com/users/123", json=update_data)
print("更新结果状态码:", response.status_code)
DELETE 请求示例
# 删除资源（例如删除文章）
response = requests.delete("https://api.example.com/articles/456")
print("删除操作状态码:", response.status_code)

三、处理响应

1. 响应内容解析

文本内容处理
# 获取响应文本（自动解码）
response = requests.get("https://api.example.com/text")
print("文本内容:", response.text[:100])  # 截取前 100 个字符
二进制内容处理
# 下载图片并保存到本地
response = requests.get("https://example.com/image.jpg")
with open("image.jpg", "wb") as f:  # 以二进制写入模式保存
    f.write(response.content)
print("图片下载完成")
JSON 数据处理
# 解析 JSON 响应（自动转换为字典）
response = requests.get("https://api.example.com/products/789")
product = response.json()
print(f"产品名称: {product['name']}, 价格: {product['price']}元")

2. 响应状态与头信息

状态码检查
response = requests.get("https://api.example.com/health")
if response.status_code == 200:
    print("服务正常")
elif response.status_code == 404:
    print("资源不存在")
else:
    print("未知状态:", response.status_code)
异常处理
# 自动抛出 HTTP 错误
try:
    response = requests.get("https://api.example.com/error")
    response.raise_for_status()  # 如果状态码是 4xx/5xx 会抛出异常
except requests.HTTPError as err:
    print(f"HTTP 错误: {err}")
响应头解析
response = requests.head("https://example.com")  # HEAD 请求只获取头信息
print("服务器类型:", response.headers.get("Server", "未知"))
print("内容类型:", response.headers.get("Content-Type", "未指定"))

四、高级功能

1. 会话（Session）管理

# 使用 Session 保持登录状态和连接池
with requests.Session() as session:
    # 第一次请求：登录
    login_data = {"user": "admin", "pass": "123456"}
    session.post("https://api.example.com/login", data=login_data)

    # 后续请求：自动携带 Cookie
    profile = session.get("https://api.example.com/profile").json()
    orders = session.get("https://api.example.com/orders").json()
    print("用户信息:", profile)

2. 代理设置

# 通过代理服务器发送请求
proxies = {
    "http": "http://10.10.1.10:3128",   # HTTP 代理
    "https": "http://10.10.1.10:1080"   # HTTPS 代理
}
try:
    response = requests.get("http://external-site.com", proxies=proxies, timeout=5)
    print("通过代理访问成功")
except requests.ConnectTimeout:
    print("代理连接超时")

3. 超时控制

# 设置连接超时和读取超时（元组格式）
try:
    response = requests.get("https://slow-api.example.com", timeout=(3.05, 10))
    # 连接超时 3.05 秒，读取超时 10 秒
except requests.Timeout:
    print("请求超时，请重试")

4. SSL 验证

禁用验证（测试环境使用）
# 注意：verify=False 会忽略 SSL 证书验证（不安全！）
response = requests.get("https://self-signed-cert-site.com", verify=False)
print("跳过 SSL 验证结果:", response.status_code)
自定义证书
# 使用自定义 CA 证书验证
response = requests.get("https://internal-api.example.com", 
                       verify="/path/to/corporate-ca-bundle.crt")
print("自定义证书验证成功")

五、异常处理

完整异常处理示例

from requests.exceptions import RequestException

url = "https://unstable-api.example.com/data"

try:
    # 设置超时和重试
    response = requests.get(url, timeout=5)
    response.raise_for_status()  # 检查 4xx/5xx 错误
    
    # 处理成功响应
    data = response.json()
    print("获取数据成功:", data["key"])

except requests.Timeout:
    print("错误: 请求超时（5 秒）")
except requests.HTTPError as e:
    print(f"HTTP 错误: {e.response.status_code} - {e.response.reason}")
except requests.JSONDecodeError:
    print("错误: 响应不是有效的 JSON")
except RequestException as e:
    print(f"请求失败: {str(e)}")

六、其他实用功能

1. Cookie 操作

# 手动设置 Cookie
cookies = {"session_id": "abc123xyz"}
response = requests.get("https://api.example.com/cart", cookies=cookies)
print("购物车内容:", response.json())

# 获取服务器设置的 Cookie
print("服务器返回的 Cookies:")
for cookie in response.cookies:
    print(f"{cookie.name}: {cookie.value}")

2. 重定向控制

# 禁用自动重定向
response = requests.get("https://example.com/old-url", allow_redirects=False)
if response.status_code == 301:
    new_location = response.headers["Location"]
    print(f"需要手动跳转到: {new_location}")

3. 流式下载大文件

# 分块下载大文件（避免内存溢出）
url = "https://example.com/large-video.mp4"
with requests.get(url, stream=True) as r:
    r.raise_for_status()
    with open("video.mp4", "wb") as f:
        for chunk in r.iter_content(chunk_size=8192):  # 8KB 块
            f.write(chunk)
print("大文件下载完成")

4. 身份认证

# 使用 Basic 认证
from requests.auth import HTTPBasicAuth

response = requests.get("https://api.example.com/secured",
                       auth=HTTPBasicAuth("user", "pass"))
print("认证结果:", response.status_code)

七、最佳实践

推荐做法

  1. 会话复用：

    # 使用 with 语句自动管理 Session
with requests.Session() as s:
    s.headers.update({"User-Agent": "MyApp/1.0"})  # 统一设置请求头
    s.get("https://api.example.com/ping")          # 测试连接

  2. 超时必填：

    # 所有请求都应该设置超时
requests.get("https://example.com", timeout=(3, 10))  # 连接 3 秒，读取 10 秒

  3. 资源释放：

    # 使用 with 语句确保响应资源释放
with requests.get("https://example.com", stream=True) as response:
    # 处理响应内容
    pass

  4. 错误重试：

    # 实现简单重试逻辑
retries = 3
for _ in range(retries):
    try:
        response = requests.get(url, timeout=5)
        response.raise_for_status()
        break
    except (RequestException, Timeout):
        continue

官方文档：https://docs.python-requests.org/

特点说明

  1. 代码注释：每个示例都添加了详细的注释，说明代码用途和关键参数
  2. 场景覆盖：包含常见场景（登录、文件传输、错误处理）和特殊需求（代理、SSL 验证）
  3. 安全提示：在禁用 SSL 验证等危险操作时添加警告说明
  4. 最佳实践：强调超时设置、会话管理和资源释放的重要性

可直接保存为 .md 文件或导入到文档工具中使用。

两万字博文教你python爬虫requests库【详解篇】
孤寒者的博客
07-12 63万+
两万字博文教你python爬虫requests库【详解篇】
python——requests
pumpkin84514的博客
08-24 3415
requestsrequests库简化了HTTP请求的发送和处理。支持多种HTTP方法及高级功能，如会话、SSL验证、超时等。在数据采集和爬虫中非常实用，尤其适合初学者快速上手。
【Python Requests 库介绍】
武帝为此的博客
01-24 1756
Requests是一个广泛使用的Python第三方库，专门用于发送HTTP/HTTPS请求。与Python内置的urllib相比，Requests提供了更加直观和灵活的API。
Python-requests模块详解！
Python_trys的博客
11-13 3949
在python内置模块的基础上进行了高度的封装，从而使得python进行网络请求时，变得人性化，使用Requests可以轻而易举的完成浏览器可有的任何操作。Request支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传，支持自动响应内容的编码，支持国际化的URL和POST数据自动编码。获取文本方式的响应体实例：当你访问 r.text 之时，会使用其响应的文本编码进行解码，并且你可以修改其编码让 r.text 使用自定义的编码进行解码。基本身份认证(HTTP Basic Auth)
爬虫之Requests: 让 HTTP 服务人类
weixin_30399821的博客
03-05 5532
Requests: 让 HTTP 服务人类 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 唯一的一个非转基因的 Python HTTP 库，人类可以安全享用：） Requests 继承了urllib2的...
python之requests
wenxiaoba的博客
09-21 2275
关于requests的使用方法，可参照中文版文档： http://docs.python-requests.org/zh_CN/latest/index.html 简介 Requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，使用方法比urllib更加方便。 安装 pip快速安装：pip install requests 使用说明 请求发送方法 使用前，需要导入requests库：import requests 方法 调用方法 .
Python中requests库
热门推荐
一个专注于机器学习基础与实战的技术博客，内容涵盖算法推导、模型实现、数学原理与代码实践。用通俗的语言解析复杂概念，记录学习过程中的思考与总结，适合机器学习爱好者和从业者参考。
02-28 5万+
文章目录requests库一、 基本概念1、 简介2、 获取3、 http 协议3.1 URL3.2 常用 http 请求方法二、 使用方法1、 基本语法requests 库中的方法2、 具体使用方法2.1 get2.1.1 基本语法2.1.2 常用参数2.2 post2.2.1 基本语法2.2.2 常用参数2.3 response2.4 **head**2.4.1 基本语法2.5 put requests库 一、 基本概念 1、 简介 requests 模块是 python 基于 urllib，采用 A
Python（request库）
最新发布
zzhz925的博客
03-25 1407
requests是用python语言编写的简单易用的http库，用来做接口测试的库。
Python库 | requests_pkcs12-1.6-py2.py3-none-any.whl
02-19
《Python库requests_pkcs12详解》 在Python的开发世界中，有一个强大的库叫做`requests`，它使得网络请求变得简单易用。然而，在处理需要使用PKCS#12证书的安全HTTPS通信时，`requests`原生并不支持。为了解决这个...
Python Requests库详解
08-24
接下来将对Python Requests库进行详细解释，同时以爬虫项目为背景，阐述如何应用Requests库进行网络请求、页面爬取、数据解析等操作。 首先，了解什么是网络爬虫（Web Crawler）是理解Python Requests库的重要前提...
Python-request
11-10
网络爬虫 python文档 学习。
两万字博文教你python爬虫requests库详解篇.pdf
05-23
【Python 爬虫 Requests 库详解】 Requests 是 Python 中广泛使用的 HTTP 客户端库，因其简洁易用而备受青睐。它专为人类设计，是 Python 软件包中最受欢迎的一个，每天的下载量超过 400,000 次。与标准库 urllib ...
Python requests 模块
qq_52758588的博客
04-09 7619
requests模块超详细
python接口篇-Requests
清微的博客
04-09 5503
python接口篇-Requests
Python之requests详解
酒酿小圆子呀～
06-15 6826
文章目录1. GET请求1.1 最基本的GET请求1.2 添加headers和查询参数2. POST请求2.1 最基本的POST请求2.2 传入data数据 虽然Python的标准库中 urllib2 模块已经包含了平常我们使用的大多数功能，但是它的 API 使用起来让人感觉不太好，而 Requests 自称 “HTTP for Humans”，说明使用更简洁方便。 Requests 继承了urllib2的所有特性。Requests支持HTTP连接保持和连接池，支持使用cookie保持会话，支持文件上传
Python requests库介绍
m0_46311182的博客
12-14 1849
requests是一个用于发送HTTP请求的Python库。它建立在Python的标准库urllib3之上，但提供了更加简洁、易用的接口。无论是简单的 GET请求、POST请求，还是复杂的HTTP操作，requests 都能轻松应对。与Python标准库中的urllib和urllib2相比，requests的优势在于其简洁性和可读性。它的设计理念是让开发者能够用尽可能少的代码完成复杂的网络请求任务。
Python爬虫基础之Requests详解
程序园@大Null
10-27 2071
围绕 Requests 库展开讲解的爬虫教程。
rt-detrv3网络结构
03-16
### RT-DETRv3 网络结构分析 RT-DETRv3 是一种基于 Transformer 的实时端到端目标检测算法，其核心在于通过引入分层密集正监督方法以及一系列创新性的训练策略，解决了传统 DETR 模型收敛慢和解码器训练不足的问题。以下是 RT-DETRv3 的主要网络结构特点： #### 1. **基于 CNN 的辅助分支** 为了增强编码器的特征表示能力，RT-DETRv3 引入了一个基于卷积神经网络 (CNN) 的辅助分支[^3]。这一分支提供了密集的监督信号，能够与原始解码器协同工作，从而提升整体性能。 ```python class AuxiliaryBranch(nn.Module): def __init__(self, in_channels, out_channels): super(AuxiliaryBranch, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size=3, padding=1) self.bn = nn.BatchNorm2d(out_channels) def forward(self, x): return F.relu(self.bn(self.conv(x))) ``` 此部分的设计灵感来源于传统的 CNN 架构，例如 YOLO 系列中的 CSPNet 和 PAN 结构[^2]，这些技术被用来优化特征提取效率并减少计算开销。 --- #### 2. **自注意力扰动学习策略** 为解决解码器训练不足的问题，RT-DETRv3 提出了一种名为 *self-att 扰动* 的新学习策略。这种策略通过对多个查询组中阳性样本的标签分配进行多样化处理，有效增加了阳例的数量，进而提高了模型的学习能力和泛化性能。 具体实现方式是在训练过程中动态调整注意力权重分布，确保更多的高质量查询可以与真实标注 (Ground Truth) 进行匹配。 --- #### 3. **共享权重解编码器分支** 除了上述改进外，RT-DETRv3 还引入了一个共享权重的解编码器分支，专门用于提供密集的正向监督信号。这一设计不仅简化了模型架构，还显著降低了参数量和推理时间，使其更适合实时应用需求。 ```python class SharedDecoderEncoder(nn.Module): def __init__(self, d_model, nhead, num_layers): super(SharedDecoderEncoder, self).__init__() decoder_layer = nn.TransformerDecoderLayer(d_model=d_model, nhead=nhead) self.decoder = nn.TransformerDecoder(decoder_layer, num_layers=num_layers) def forward(self, tgt, memory): return self.decoder(tgt=tgt, memory=memory) ``` 通过这种方式，RT-DETRv3 实现了高效的目标检测流程，在保持高精度的同时大幅缩短了推理延迟。 --- #### 4. **与其他模型的关系** 值得一提的是，RT-DETRv3 并未完全抛弃经典的 CNN 技术，而是将其与 Transformer 结合起来形成混合架构[^4]。例如，它采用了 YOLO 系列中的 RepNCSP 模块替代冗余的多尺度自注意力层，从而减少了不必要的计算负担。 此外，RT-DETRv3 还借鉴了 DETR 的一对一匹配策略，并在此基础上进行了优化，进一步提升了小目标检测的能力。 --- ### 总结 综上所述，RT-DETRv3 的网络结构主要包括以下几个关键组件：基于 CNN 的辅助分支、自注意力扰动学习策略、共享权重解编码器分支以及混合编码器设计。这些技术创新共同推动了实时目标检测领域的发展，使其在复杂场景下的表现更加出色。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

满怀1015

你的鼓励是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值