深度学习--ResNet介绍

一、深度网络的退化问题

         在ResNet还没有提出的时候，所有的神经网络都是通过卷积层和池化层的叠加组成的。在开始的时候，人们觉得卷积层和池化层的层数越多，所提取到的图片的特征就会越来越全，然而，与猜想相反的是，随着网络变得更深，训练过程的效率逐渐降低，甚至出现了退化现象，即随着网络层数的加深，网络的性能反而变差。深度网络退化问题严重影响了深度学习的发展和应用，因此需要深入研究其原因和解决方法。

        通过叠加卷积层和池化层导致的深度网络退化的表现形式主要为梯度消失和梯度爆炸。当网络层数增加时，若每一层的误差梯度小于1，反向传播时，梯度会逐渐变小，导致网络无法收敛或者收敛速度非常慢，这就是梯度消失问题。相反，若每一层的误差梯度大于1，反向传播时，梯度也会变得非常大，使得权重值快速增大或减小，导致网络的输出变得不稳定，这就是梯度爆炸问题。这些问题都会导致深度网络的训练变得异常困难，甚至无法收敛，从而影响网络的性能。

         度网络退化问题的主要原因是深度网络的非线性层（如ReLU、sigmoid等）的堆叠，这些非线性激活函数会导致梯度的变化变得更加剧烈。当网络层数增加时，梯度的变化就会变得更加复杂和难以掌控，从而导致梯度消失或梯度爆炸问题。此外，随着网络层数的增加，网络的参数数量也会呈指数级增长，这会导致网络的过拟合问题更加严重。

                  

二、 ResNet的提出

    为了解决深度网络退化问题，学术界提出了一系列方法。其中，残差网络（Residual Network，ResNet）是最为流行的方法之一。残差学习框架的基本思想是通过添加跨层连接来更有效地训练深度卷积神经网络。传统的卷积神经网络由多个卷积层、池化层和全连接层组成，而残差网络则通过对相邻两个卷积层之间的输入和输出之间的残差进行学习，来提高网络的性能。具体而言，ResNet的基本模块是由两个3x3的卷积层构成，其中第二个卷积层的输出与第一个卷积层的输入进行跨层连接。

   ResNet在传统的卷积神经网络中引入了残差模块，通过跨层连接来保持信息的流动性，从而有效地缓解了梯度消失和梯度爆炸问题。另外，批量归一化（Batch Normalization）也是一种有效的方法，它通过对每个小批量数据进行归一化来保证网络的稳定性，从而避免了梯度消失和梯度爆炸问题。

   ResNet的优点在于它可以训练非常深的神经网络。事实上，在2015年的ILSVRC比赛中，ResNet成功地训练了152层的网络，取得了较佳的性能。此外，ResNet中的跨层连接还有助于减少过拟合，提高网络的泛化能力。不过，ResNet的训练过程也存在一些问题，例如网络收敛速度慢、训练时间长等。

三、ResNet的结构

    ResNet的主要特点就是在卷积网络中添加了残差模块（Residual Block），使得网络可以更深。在传统的卷积神经网络中，每一层的输入都是前一层的输出，这就导致了网络深度增加时，梯度消失或梯度爆炸的问题，从而影响了网络的训练效果。ResNet通过在每个残差模块中加入跨层连接（shortcut connection），使得网络可以直接学习到残差部分，从而减轻了梯度消失的问题。

     ResNet的基础结构是由多个残差模块组成的。每个残差模块包含两个卷积层和一个跨层连接，其中第一个卷积层用于提取特征，第二个卷积层对特征进行加工，跨层连接将输入直接加到输出上，形成了一个残差块。

深度学习其他文章：

卷积神经网络的介绍-CSDN博客

取名真是-CSDN博客