ResNet(残差网络)中的残差块(Residual Block)是其核心创新,通过引入跳跃连接(Skip Connection) 解决深度神经网络中的梯度消失和网络退化问题。以下是残差块的系统解析:
一、残差块的核心思想
1. 残差学习原理
- 传统网络:直接学习目标映射 H(x)(输入→输出的复杂变换)。
- 残差网络:学习残差函数 F(x)=H(x)−x,输出为 y=F(x)+x 。
- 优势:
- 当 H(x)≈x(恒等映射最优时),网络只需学习 F(x)≈0,比直接学习 H(x) 更简单。
- 跳跃连接保留原始信息,梯度可通过短路路径直接回传,缓解梯度消失。