读ResNet网络文献后的一些要点梳理
1.ResNet网络的诞生是为了要解决深度学习网络的degradation problem。
2.degradation problem与过拟合之间的区别在于过拟合是train error很小,test error很大;而degradation problem则是train error和test error都会增大。
3.ResNet最初的想法是源于一个推理,即假设深层网络由一个浅层网络和多个恒等映射组合而成。若这些恒等映射都是理想的,那么这个深层网络的训练性能(无过拟合)就会等于浅层网络。更何况这些映射不会只局限于恒等映射。因此,深层网络的训练性能应该不会弱于浅层网络。于是他们猜想导致深层网络出现degradation problem的原因可能是深层网络对恒等映射的学习出现了困难。
4.ResNet网络本质上是优化了网络对于恒等映射的学习方式。原因是残差函数在学习恒等映射时,只需要将所有权值参数都趋于零即可,远比非残差函数要去重新学习这些参数的值要轻松得多。
5.shortcuts在维数变换时,有两种选择方式:零填充剩余维度元素以及用1×1卷积核进行投影。其中,前者无多余参数。与后者相比,时间复杂度较低,模型较小。
6.bottlelenck结构相比于non-bottlelenck结构,参数量更少。因此在保证输出维度不受影响的情况下减少了计算量。
(留存待日后回顾)
Reference
1.详解残差网络.
2.ResNet网络结构分析.
3.Resnet 论文读记.
4.大话深度残差网络(DRN)ResNet网络原理.
5.残差网络原理.