weixin_44543635的博客

本周阅读了ResNet的论文，整篇文章的大概思路可以简述如下： 由于深度学习的模型“深度”愈发增加，发现了一个问题——随着网络深度的增加，准确率达到饱和后会迅速退化，并且这不是由过拟合造成的——称之为退化问题（degradation problem）。而这个问题的本质原因是，模型很难去拟合一个经历过许多非线性层的恒等映射。于是作者提出了拟合残差的思想：与其让这些层直接去拟合所需的底层映射H(x)，不如让这些层去拟合残差映射F(x)=H(x)-x，因为后者会更容易优化。此时H...

目录 1提出背景 1.1ICS是什么 1.2 ICS带来的问题 1.2.1 训练速度降低 1.2.2 梯度消失问题 1.3ICS能如何被解决 1.3.1 Whitening 1.3.2Batch Normalization的提出 2 BN算法思想 2.1 大体思路 2.2 具体算法 2.2.1 Train...