ResNet(Residual Network,残差网络)是由何恺明团队于2015年提出的深度卷积神经网络架构,其核心创新在于残差学习机制,解决了深度神经网络训练中的梯度消失和网络退化问题,使网络层数可扩展至上千层。以下是其核心原理、结构及影响的系统解析:
一、核心问题与创新背景
-
深度网络的瓶颈
- 梯度消失/爆炸:传统深层网络(如VGG-19)因反向传播的链式求导导致浅层梯度指数级衰减或激增,难以训练。
- 退化现象:实验表明,深层网络的训练误差反而高于浅层网络(如56层比20层误差更高),并非过拟合,而是优化困难所致。
-
残差学习的提出
ResNet通过跳跃连接(Skip Connection) 构建残差块(Residual Block),将输入信号直接传递至输出端,使网络只需学习输入与输出的残差映射(即 F(x)=H(x)−x),而非完整的非线