深度残差网络的一波两折

最新推荐文章于 2023-05-09 13:33:13 发布

于建民

最新推荐文章于 2023-05-09 13:33:13 发布

阅读量2.2k

点赞数 3

分类专栏：技术博客文章标签：深度残差网络集成学习神经网络人工智能机器学习

本文链接：https://blog.csdn.net/yujianmin1990/article/details/78672485

版权

本文探讨了深度残差网络（ResNet）的起源、工作原理及其多样性增强的作用。ResNet通过残差块允许数据直接流动，解决了深度学习中的梯度消失问题。通过分析，揭示ResNet实际上是一种集成学习的结构，增强了网络的多样性，而非简单增加深度。作者还讨论了ResNet的不同变体和其对性能的影响。

摘要由CSDN通过智能技术生成

　　最近拜读了何凯明大神的深度残差网络，一方面惊讶于其对网络深度的拓展，一方面又被Andreas等人的挑战思路所震惊，残差网络并不是扩展深度，而是增强了网络多样性。果然，科学探索的路上权威不可迷信，真理总是被不断发掘。现梳理下残差网络的思路、工作原理的讨论、残差Block的变化。

Residual Network

　　16年的时候，深度残差网络横空出世，将神经网络的深度由百层拓展到了千层量级，并且获得了N多竞赛奖项，一时风头无两。那么问题来了，它是怎么将深度搞得这么深的？背后又是什么原理？为什么会有效呢？

What is ResNet

　　假设，层间需要学习的隐藏映射为 $H(x)$ ，残差映射表示为 $F(x)=H(x)-x$ ，将原本需要学习的映射 $H(x)$ 变为残差函数 $F(x)+x$ 。这里的残差定义： 输出 - 输入 = 残差。
　　残差单元示意图：

　　图中右侧skip-connect为identity mapping（

output≡input $output \equiv input$ ）。上图只是一种残差单元类型，后面会补充其他的类型。由这些类似的block组成的网络，就是 残差网络。

Residual idea inspired by What ?

　　残差网络的思想是受到什么启发才得来的呢？这是我很好奇的地方。
　　已知，一个浅层网络，可以通过叠加恒等映射( $y_l \equiv x_l$ )的方式得到深层网络，并且其效果不会比原浅层网络弱才对。但是，加大网络的深度，训练&测试误差却随之增加，说明是没有训练好模型，而并不是overfitting带来的问题。该现象如下图。