【模型】ResNet

最新推荐文章于 2024-09-15 13:39:52 发布

藓类少女

最新推荐文章于 2024-09-15 13:39:52 发布

阅读量968

点赞数 11

分类专栏： # 模型深度学习文章标签：模型深度学习

本文链接：https://blog.csdn.net/a13545564067/article/details/141167993

版权

深度学习同时被 2 个专栏收录

19 篇文章 1 订阅

订阅专栏

模型

12 篇文章 0 订阅

订阅专栏

ResNet（Residual Network，残差网络）是一种用于图像识别等任务的深度神经网络架构，由何凯明等人于2015年提出。它在计算机视觉领域中具有重要意义，因为它解决了随着网络层数加深而导致的“梯度消失”或“梯度爆炸”问题，使得训练非常深的神经网络成为可能。ResNet 在多个图像识别任务中取得了显著的性能提升，并在 ImageNet 竞赛中获得了第一名。

一、ResNet 的核心思想

ResNet 的核心思想是引入了“残差块”（Residual Block），通过残差连接（skip connection 或 shortcut connection）绕过一个或多个层，从而使得网络能够训练更深的层数而不会因为梯度消失或爆炸而导致模型性能下降。

残差块（Residual Block）

在普通的神经网络中，假设某一层的输入为 x ，输出为 F(x) ，那么我们有：

y = F(x)

在 ResNet 中，残差块会引入一个跳跃连接，将输入直接传递到输出，从而变为：

y = F(x) + x

这里的 F(x) 是通过卷积层、激活函数等操作得到的变换，而 x 是输入，通过跳跃连接直接加到输出上。这个跳跃连接允许梯度在反向传播时可以绕过中间层直接回传，减轻了梯度消失的问题。

二、ResNet 的架构

ResNet 的架构是由多个残差块堆叠而成的，常见的 ResNet 变体包括 ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152 等，数字表示网络层数（包括卷积层和全连接层）。

基本架构组件

卷积层: 基本的卷积操作，用于提取局部特征。
批量归一化（Batch Normalization）: 在每一层中进行批量归一化，帮助稳定训练过程。
ReLU 激活函数: 常用的非线性激活函数，加入非线性能力。
残差连接（Skip Connection）: 将输入直接连接到输出，构建残差块。

典型的 ResNet 架构示例

ResNet-50 是一个较为常用的版本，它包含 50 层，包括多个卷积层和残差块：

Conv1: 7x7 卷积层，64 个通道，步幅为 2，后接批量归一化和 ReLU 激活函数。
MaxPool: 3x3 最大池化层，步幅为 2。
Conv2_x: 4 个残差块，每个残差块包含 3 层卷积。
Conv3_x: 4 个残差块，每个残差块包含 4 层卷积。
Conv4_x: 6 个残差块，每个残差块包含 6 层卷积。
Conv5_x: 3 个残差块，每个残差块包含 3 层卷积。
AveragePool: 全局平均池化层。
FC: 全连接层，输出类别数（如 1000 类）。

三、ResNet 的优点

解决梯度消失问题: 通过残差连接，ResNet 解决了深度神经网络中的梯度消失问题，使得网络可以有效地训练非常深的层次。
提高模型性能: ResNet 的深度允许它捕获更复杂的特征，从而在各种视觉任务中表现出色。
模块化设计: 残差块是模块化的，可以轻松堆叠，构建不同深度的网络（如 ResNet-18、ResNet-50 等）。

四、ResNet 的变种

ResNeXt: 在 ResNet 的基础上，ResNeXt 使用了分组卷积的思想，进一步提高了网络的表达能力。
Wide ResNet: 将网络变宽而非变深，研究发现适当增加宽度也可以显著提高模型性能。
Deep Residual Networks with Pre-activation (Pre-activation ResNet): 改变了残差块中的操作顺序，先批量归一化和 ReLU，再进行卷积运算。

五、ResNet 在实践中的应用

ResNet（Residual Network）的应用非常广泛，涵盖了计算机视觉和其他机器学习领域的多个任务。由于其强大的深度学习能力和在大规模图像分类任务中的卓越表现，ResNet 及其变种被广泛用于各种任务和领域。

1. 图像分类

ResNet 最初是在 ImageNet 图像分类挑战中取得了显著的成功，其深度和稳定的训练能力使得它成为图像分类任务中的标准模型。ResNet-50、ResNet-101 等深度模型经常用于图像分类任务，特别是在需要处理大规模图像数据集（如 ImageNet、CIFAR-10/100 等）时。

应用示例：

ImageNet 分类：ResNet-50 和 ResNet-101 是常用的预训练模型，可以用于 ImageNet 数据集上的图像分类任务。由于 ResNet 在 ImageNet 上表现优异，因此许多其他任务也使用 ImageNet 上的预训练权重进行迁移学习。

2. 目标检测

目标检测任务不仅需要识别图像中的物体，还需要定位它们的位置。ResNet 作为骨干网络（backbone network）被广泛用于目标检测框架中，如 Faster R-CNN、Mask R-CNN、YOLO 等。

应用示例：

Faster R-CNN：使用 ResNet-50 或 ResNet-101 作为特征提取器，有效提高了检测精度。残差网络的深度和能力帮助模型更好地捕捉图像中的细节，从而提高了对小物体的检测能力。
Mask R-CNN：在 Faster R-CNN 的基础上增加了分割分支，ResNet 作为 backbone，使得模型在对象检测和分割任务中表现出色。

3. 图像分割

图像分割任务将每个像素分配给一个类别标签。ResNet 被广泛用于图像分割的模型中，尤其是语义分割和实例分割。结合 FCN（Fully Convolutional Networks）或 U-Net 等架构，ResNet 提供了强大的特征表示能力。

应用示例：

语义分割：DeepLab 系列模型使用 ResNet 作为 backbone，用于高精度的图像语义分割任务。通过结合空洞卷积和条件随机场等技术，ResNet 提供了丰富的多尺度特征。
实例分割：在 Mask R-CNN 中，ResNet 作为基础网络用于实例分割任务，能够在对象识别的同时分割出每个对象的轮廓。