
这张图展示了残差网络(Residual Network, ResNet)中的残差连接(Residual Connection)的基本概念和公式。具体来说,图中解释了如何通过残差连接使得网络更容易学习到恒等映射,从而缓解深度神经网络中的梯度消失问题。以下是对图中内容的详细解释:
残差连接的定义
假设某层的输入为 x x x,该层的输出为 F ( x ) \mathcal{F}(x) F(x),那么残差连接的输出为:
y = F ( x ) + x y = \mathcal{F}(x) + x y=F