ResNests(残差神经网络)个人理解

ResNets是针对很深的网络实际的，由残差块构建而成。

残差块是一个两层的神经网络。通常情况下深度网络中一层的的构成首先是通过线性变换，经过激活函数后输出结果。

公式代表的上述网络结构的主要救过路径，其中g代表的是激活函数。

在残差网络中有一点是变化的，我们直接将第一层的输入a[l]向后拷贝，拷贝到下一层的激活函数之前，则第二层的输出就是

也就是加上了a[l]这个残差层。

如何将一个普通的网络构建成一个残差网络？

那构建这种模式的残差函数又有什么优点呢？

我们都知道在普通的网络中由于网络不断加深导致的梯度消失和梯度爆炸，训练误差会先减少再增加，深度加深意味着优化算法很难训练。但是在残差网络中是不一样的。

在残差层中我们可以知道

展开表达式：

假设， ，

这就是残差块的恒等式函数，这表明即使是增加了两层神经网络，它的效率依然没有降低。

在保持网络的效率的同时还要考虑提升效率。因为将前一层的输入加到了后一层中，这就表明有更多的信息传播到下一层了，那么自然得到的信息越多，学习的效果也就越好了。