我理解的残差网络

这里引用了很多篇博客或者知乎上的内容~

首先，残差和误差的区别：
误差是衡量观测值和真实值之间的差距，残差是指预测值和观测值之间的差距。

了解残差网络结构：


h()是直接映射，f()是激活函数，F（）是经过weight、BN的那一部分。

如果f()也是直接映射，则变成如下形式：

对于一个更深的层L，其与l层的关系可以表示为:

这个公式反应了残差网络的两个属性：

残差网络解决梯度问题的原理