ResNet DenseNet

Geeks.

于 2024-10-02 00:26:08 发布

阅读量736

点赞数 19

分类专栏：深度学习文章标签：人工智能算法

本文链接：https://blog.csdn.net/Darling912/article/details/142676513

版权

深度学习专栏收录该内容

10 篇文章 0 订阅

订阅专栏

在开始之前可以先去熟悉一下源码

对原理的理解更加哦

从零搭建ResNet-CSDN博客

ResNet

随着模型的深度变得不断的加深，深层的网络更加会形成梯度消失的问题

我们对原本模型的准确度更加难以去操控

这样就会使得模型的准确率下降

ResNet（Residual Network）是一种深度学习架构，由何恺明等人在2015年提出，旨在解决深层神经网络训练中的退化问题。ResNet 的核心思想是引入残差学习（Residual Learning），通过跳跃连接（Skip Connections）来使网络的训练更加高效。以下是 ResNet 的详细介绍：

1. 背景与动机

深度网络的挑战：随着神经网络层数的增加，训练深层网络时会遇到梯度消失和退化问题，即网络的性能反而随着层数增加而下降。
残差学习：为了解决这一问题，ResNet 提出了“残差块”（Residual Block）的概念，允许网络学习输入与输出之间的残差（即差异），而不是直接学习输出。

2. 残差块（Residual Block）

结构：每个残差块包含两个或多个卷积层和一个跳跃连接。跳跃连接将输入直接加到卷积层的输出上，形成 F(x)+xF(x)+x，其中 F(x)F(x) 是经过卷积层处理后的输出，xx 是输入。
公式：
Output=F(x)+xOutput=F(x)+x
优势：通过这种方式，网络可以更容易地学习恒等映射，如果添加更多的层不再有益，网络可以选择只学习恒等映射，从而避免退化问题。

3. 架构

深度版本：ResNet 提供了多种不同深度的版本，如 ResNet-18、ResNet-34、ResNet-50、ResNet-101、ResNet-152 等，数字表示网络中的层数。
模块化设计：ResNet 的设计使得可以方便地堆叠多个残差块，通过简单的修改构建更深的网络。

4. 性能与影响

比赛表现：ResNet 在多个图像分类挑战（如 ImageNet）中表现优异，获得了第一名的成绩，深度可达152层而不出现显著的退化。
广泛应用：由于其出色的性能，ResNet 被广泛应用于计算机视觉的各个领域，如目标检测、图像分割和视频分析等。

5. 训练策略

Batch Normalization：ResNet 通常在卷积层后面使用 Batch Normalization，以加速训练并提高稳定性。
随机失活（Dropout）：虽然在 ResNet 的原始设计中没有使用 Dropout，但在某些变体中可能会结合使用，以减少过拟合。

6. 变种与扩展

ResNeXt：通过引入“分支”的概念，使网络在保留深度的同时提高了计算效率。
DenseNet：与 ResNet 类似，但采用更密集的连接方式，允许每一层接收来自所有前面层的输入。

总结

ResNet 是一种通过残差学习有效解决深层网络退化问题的架构。其创新的跳跃连接使得网络能够更轻松地训练，成为深度学习研究和应用中一项具有里程碑意义的进展。ResNet 的成功推动了更深网络设计的发展，并对后续的网络架构产生了深远影响。

ResNet的模型相对于链式结构会变的更加的复杂

ResNet的层数也会变的更加的多，可以人为的进行控制

DenseNet（Densely Connected Convolutional Networks）是一种深度学习网络架构，由 Gao Huang 等人在 2017 年提出。DenseNet 主要通过引入密集连接（Dense Connectivity）来改善传统卷积神经网络（CNN）的性能。这种连接方式使得网络更容易训练，同时提高了特征的重用率。以下是对 DenseNet 的详细介绍：

1. 背景与动机

传统 CNN 的问题：在深层网络中，梯度消失和特征稀疏的问题使得网络的训练变得困难。随着网络的深度增加，很多信息在传递过程中会逐渐丢失。
特征重用：DenseNet 提出的目标是让每一层都能访问到前面所有层的特征，以充分利用信息，减轻梯度消失的问题。

2. 架构设计

密集连接：DenseNet 的每一层都与前面所有层直接连接。具体而言，假设有 LL 层，每一层的输入是所有前面层的输出特征的拼接。
数学表达：

xl=Hl([x0,x1,…,xl−1])xl=Hl([x0,x1,…,xl−1])

其中 HlHl 表示第 ll 层的变换，[x0,x1,…,xl−1][x0,x1,…,xl−1] 表示所有前面层的特征拼接。
特征拼接：与残差连接不同，DenseNet 使用特征的拼接而不是加法。这样，网络可以获取更多的上下文信息。

3. 层次结构

Dense Block：DenseNet 的基本单元是 Dense Block，每个 Dense Block 包含多个卷积层。在每个卷积层中，输入来自该 Dense Block 中所有前面的层。
Transition Layer：在 Dense Block 之间，使用 Transition Layer 来减少特征图的数量和空间维度。Transition Layer 通常包括一个卷积层和一个池化层。

4. 优点

更高的特征重用率：由于每一层都直接连接到前面所有层，DenseNet 在特征重用方面表现出色，从而提高了模型的表达能力。
更少的参数：尽管 DenseNet 具有较高的深度，但它的参数数量往往比其他深层网络少。这是因为密集连接允许层共享特征，而不是独立学习特征。
更好的梯度流：密集连接增强了梯度的流动，减轻了梯度消失的问题，使得更深的网络更容易训练。

5. 变种与扩展

DenseNet-121、DenseNet-169、DenseNet-201：这些是不同层数的 DenseNet 变种，数字表示网络中的层数。
DenseNet与其他网络的结合：DenseNet 可以与其他架构结合，如在目标检测或语义分割任务中与 FCN（Fully Convolutional Networks）结合。

6. 应用

计算机视觉任务：DenseNet 广泛应用于图像分类、目标检测、图像分割等领域。
医疗图像分析：在医学图像处理领域，DenseNet 由于其强大的特征提取能力，也取得了优异的效果。

总结

DenseNet 通过密集连接提高了特征重用率，改善了梯度流，从而使得深层网络训练更加高效且更容易。其独特的架构设计和出色的性能使得 DenseNet 在深度学习领域，特别是计算机视觉任务中，成为一种流行的选择。

CliqueNet 是一种用于图像分类的深度学习模型，旨在结合网络中的局部特征和全局上下文，以实现更好的性能。以下是对 CliqueNet 的详细介绍：

1. 背景

CliqueNet 于 2019 年提出，主要解决了传统卷积神经网络（CNN）在捕捉长距离依赖和全局特征时的不足。通过引入新的连接方式和模块，CliqueNet 能够在不增加计算复杂度的情况下，提升模型的表达能力。

2. 网络架构

CliqueNet 的架构基于以下几个关键组件：

局部特征提取：使用卷积层提取局部特征。这一部分与传统的 CNN 类似，通常采用多个卷积块来逐步提取更高层次的特征。
全局特征建模：通过全局池化或注意力机制，CliqueNet 能够对整个图像进行全局特征建模，以捕获长距离的依赖关系。这使得网络能够更好地理解图像的整体结构。
Clique Module：CliqueNet 引入了 Clique Module，这是一种新的特征融合机制。它将局部特征和全局特征进行结合，使得网络能够充分利用局部信息和全局上下文。