ResNet结构以及BN原理

ResNet优点：

1. 有超深的网络结构
2. 提出了residual模块
3. 使用Batch Normalization 加速训练（丢弃dropout）
   随着网络层数的增加会出现梯度消失或梯度爆炸以及退化问题（ degradation problem）

梯度消失和梯度爆炸出现的原因：
在反向传播中需要对激活函数求导。
如果导数<1，那随着网络层数的增加，梯度更新会朝着指数衰减的方式减少。
如果导数>1，那随着网络层数的增加，梯度更新会朝着指数爆炸的方式增加。
解决方法：BN、ReLu函数（导数为1，每层网络都可以得到相同的更新速度）

Batch Normalization原理
对于Conv1来说输入的就是满足某一分布的特征矩阵，但对于Conv2而言输入的feature map就不一定满足某一分布规律了，而我们Batch Normalization的目的就是使我们的feature map满足均值为0，方差为1的分布规律。

“对于一个拥有d维的输入x，我们将对它的每一个