卷积神经网络进阶用法---残差网络如何解决梯度消失问题

最新推荐文章于 2024-09-13 09:52:14 发布

三景页三景页

最新推荐文章于 2024-09-13 09:52:14 发布

阅读量2.2w

点赞数 12

分类专栏：深度学习算法及原理

本文链接：https://blog.csdn.net/LEEANG121/article/details/104171683

版权

卷积神经网络进阶用法---残差网络如何解决梯度消失问题

前言
道路千万条，好用第一条
残差网络和跳跃连接

前言

我在三个月前写了关于卷积神经网络的系列文章，受到了很大的关注，深感荣幸。说明当前读者对深度学习的关注度是相当高的，之前的系列文章主要是关于卷积神经网络的基础概念介绍。其实实际工作中，卷积神经网络有很多的变形和进化，作者通过阅读大量的文献，整理出来一些心得，写在这里与诸君分享。如有错误，还请诸位大神指正。

以下为我之前写的关于CNN卷积神经网络的文章链接：
CNN卷积神经网络原理详解（上）
CNN卷积神经网络原理详解（中）
CNN卷积神经网络原理详解（下）

言归正传，下面开始今天的正文。

道路千万条，好用第一条

看过我上述博客的读者，或者对卷积神经网络有基本概念的读者应该都知道，神经网络是当前人工智能解决图像识别、语义识别等课题重要的手段之一。卷积神经网络如此重要，但是在它刚出现的时候，却存在很多缺陷，尤其是当网络较深时候会发生梯度消失/爆炸等问题。为了解决这些问题，科研工作者后来在经典卷积网络的基础上又进行了大量的优化工作。
在这里插入图片描述
图一
上图中提到的就是一些应用较为广泛的改进策略。本系列博文拟打算从原理上对这些方法策略进行逐一说明，考虑到篇幅原因，这些策略的实际应用会单独另开博客，本文不提。
本文重点介绍残差网络的内容，希望通过本文的介绍，让大家对残差网络有一个直观的理解。通过阅读本文，您会了解：1，残差网络解决了哪些问题；2，残差网络为何会有作用。

残差网络和跳跃连接

梯度消失问题

深度学习之所以叫深度学习，就是因为理论上网络越深，效果越好。当然，这是理论上的说法。实际情况却是：（1）随着网络的加深，增加了大量的参数，导致计算性能严重下降；（2）在网络优化的过程中，出现梯度消失或者梯度爆炸等现象。

这一小节跟大家介绍的残差网络则很好的解决了梯度消失的问题。
本节主要内容：
1，为何会出现梯度消失现象？
2，残差网络如何解决梯度消失问题？

关于为何出现梯度消失现象，大家不妨先来看一组动图。
在这里插入图片描述
图二

图三

图四

图五
图二虚线框为一个神经元block，假设输入 $x$ 为10，权重 $w 1 = 0.1$ ， $w 2 = 0.1$ ， $w 3 = 0.1$ ， $w 4 = 0.1$ ，每个神经元对输入的操作均为相乘。现在我们来看一下这一组神经元在前向传播和后向传播的过程中都发生了什么事情。
先看动图三，这是前向传播的过程，很简单，就是一开始输入 $x = 10$ ，先和第一个权重 $w_{1}=0.1$ 相乘，得到1，再和权重 $w_{2}=0.1$ 相乘得到0.1，依次类推，最后和 $w_{4}=0.1$ 相乘得到0.001. 这个过程不再赘述。

我们重点来看动图四(需要强调一点的是，假设从下一层网络传回来的梯度为1，最右边的数字）。为了便于说明，我把动图四呈现的内容固定为了图五。其中线程上的黑色数字是前向传播的结果，前面已经讲过。现在重点说明一下绿色和红色数字是怎么得到的。

红色数字代表了权重 $w$ 的梯度，计算过程如下：
$\bigtriangledown _{w_{4}}L=\frac{dL_{5}}{dw_{4}}=\frac{dL_{5}}{dL_{4}}\times \frac{dL_{4}}{dw_{4}}=1\times0.01=0.01$
其中 $\frac{dL_{5}}{dL_{4}}=1$ ,回传梯度为1，上文有说明；
$\bigtriangledown _{w_{3}}L=\frac{dL_{5}}{dw_{3}}=\frac{dL_{5}}{dL_{4}}\times \frac{dL_{4}}{dL_{3}}\times \frac{dL_{3}}{dw_{3}}=1\times0.1\times0.1=0.01$