ResNet网络理解
看了许多网上关于ResNet的文章,还是没有弄明白关于残差模块的学习原理。最后回到Andrew Ng关于这个网络的讲解视频终于懂了。不愧是大牛,视频虽然只有六七分钟,看完让我有茅塞顿开的感觉。
视频的链接Andrew Ng:残差网络
我一直疑惑的地方就是:既然要残差块恒等映射,那为什么还要加上?
- 其实恒等映射只是基本的保证。之所以有恒等映射是因为随着网络的加深,网络的精度实际上会下降(也就是论文里说的退化问题,Degradation problem),而有了恒等映射就保证了加深网络的同时,至少性能不会降低。
- 当然不会满足于此,所以就有了残差块之前所学到的特征加上残差块学到的特征,即使因为网络很深产生了梯度消失,那也有了之前学习到的特征保证。
RstNet就是这样的工作下去