ResNet 学习笔记

ResNet解决网络退化的机理

1. 深层梯度回传顺畅
     恒等映射这一路的梯度是1，把深层梯度注入底层，防止梯度消失；没有中间商层层盘剥。
2. 类比其他机器学习模型
     集成学习boosting，每一个弱分类器拟合“前面的模型与GT之差”；
     长短时记忆神经网络LSTM的遗忘门；
     Relu激活函数。
3. 传统线性结构网络难以拟合“恒等映射”
     什么都不做有时很重要；
     skip connection可以让模型自行选择要不要更新；
     弥补了高度非线性造成的不可逆的信息损失。
4. ResNet反向传播传回的梯度相关性好
     网络加深，相邻像素回传回来的梯度相关性越来越低，最后接近白噪声。但相邻像素之间具有局部相关性，相邻像素的梯度也应该局部相关。
5. ResNet相当于几个浅层网络的集成
6. skip connection可以实现不同分辨率特征的组合
7. ResNet数学本质是用微分方程的积分曲线去拟合系统的目标函数
8. ResNet相当于不同长度的神经网络组成的组合函数
9. ResNet相当于一个差分放大器
   10.没什么好解释的，尝试出来的实验结果就是这样…