weixin_44543635的博客

本周阅读了ResNet的论文，整篇文章的大概思路可以简述如下：由于深度学习的模型“深度”愈发增加，发现了一个问题——随着网络深度的增加，准确率达到饱和后会迅速退化，并且这不是由过拟合造成的——称之为退化问题（degradation problem）。而这个问题的本质原因是，模型很难去拟合一个经历过许多非线性层的恒等映射。于是作者提出了拟合残差的思想：与其让这些层直接去拟合所需的底层映射H(x)，不如让这些层去拟合残差映射F(x)=H(x)-x，因为后者会更容易优化。此时H...

目录1提出背景1.1ICS是什么1.2 ICS带来的问题1.2.1 训练速度降低1.2.2 梯度消失问题1.3ICS能如何被解决1.3.1 Whitening1.3.2Batch Normalization的提出2 BN算法思想2.1 大体思路2.2 具体算法2.2.1 Train...