1 基本概念
ResNet(Residual Network)是一种深度卷积神经网络架构,它在深度神经网络的训练中解决了梯度消失问题,允许训练非常深的网络,通常包括数十到数百个卷积层。ResNet是由Kaiming He等人于2015年提出的,它在图像分类、目标检测和语义分割等计算机视觉任务中取得了显著的成功。
ResNet的核心思想是通过引入跨层的"残差连接"(residual connection),允许信息直接跳过一个或多个层次而不会受到严重干扰。这种残差连接的基本形式可以用以下数学公式表示:
其中,H(x)是残差块(Residual Block)的输出,x是输入,F(x)是表示残差的函数。相比于传统的网络层,这种跳跃连接允许梯度在反向传播过程中更容易地通过网络传递。这是因为,如果恒等映射F(x)接近于零,那么梯度在反向