【一文读懂卷积神经网络（四）】可能是你看过的最全的CNN（步长不为1，有填充）

最新推荐文章于 2023-01-17 17:57:15 发布

深肚学习

最新推荐文章于 2023-01-17 17:57:15 发布

阅读量1.1k

点赞数 2

分类专栏：深度学习文章标签：人工智能深度学习神经网络 CNN

本文链接：https://blog.csdn.net/weixin_43217928/article/details/88597216

版权

本篇详细介绍了卷积神经网络（CNN）在步长不为1并有填充的情况下的前向传播与反向传播，包括卷积层和池化层的计算过程，探讨了最大池化和均值池化的反向传播，最后提供了Python实现代码。

摘要由CSDN通过智能技术生成

本系列将由浅入深的介绍卷积神经网络的前向传播与后向传播，池化层的前向传播与后向传播，并分别介绍在不同步长与不同填充的情况下卷积层和池化层的前向传播与后向传播又有哪些不同。最后给出完整的Python实现代码。

完整目录如下：

一、CNN $\Rightarrow$ 步长为1，无填充的卷积神经网络

二、CNN $\Rightarrow$ 步长为1，有填充的卷积神经网络

三、CNN $\Rightarrow$ 步长不为1，无填充的卷积神经网络

四、CNN $\Rightarrow$ 步长不为1，有填充的卷积神经网络

上一篇文章已经介绍了无填充，步长不为1的卷积神经网络,本文将继续由浅入深的介绍有填充，步长不为1的卷积神经网络的前向传播与后向传播，有填充的池化层的前向传播与后向传播。

1. CNN的前向传播（有填充，步长strides不为1）

1.1 卷积层的前向传播

给定输入4x4的矩阵A，2x2的卷积核W，要使A和W做步长为2的卷积后的输出矩阵Z的大小和A一样，我们需要对A做填充，由 $n_{H}=\lfloor{\frac{n_{Hprev}-f+2\times pad}{strides}}\rfloor+1$ 我们可得需要填充的大小为 $pad=\frac{strides\times(n_{H}-1)-n_{Hprev}+f}{2}=\frac{2\times (4-1)-4+2}{2}=2$ ，A被填充为8x8的A_paded，示意图如下。
convstridespadforward

1.2 池化层的前向传播

给定输入4x4的矩阵Ain，2x2的池化核，对Ain做步长为2的池化，要使池化前后大小不变，需要对Ain做填充，填充大小与卷积时计算相同， $pad=\frac{strides\times(n_{H}-1)-n_{Hprev}+f}{2}=\frac{2\times (4-1)-4+2}{2}=2$ ，池化示意图如下。
poolstridespadforward

2. CNN的反向传播（无填充，步长strides不为1）

对于上述前向传播，我们将损失定义为loss，我们的目标是去minimize loss，记loss对某个参数x的偏导数为dx，先来看看池化层的反向传播。

2.1 池化层的反向传播

loss对池化层输入 $A^{1}$ 的偏导数为 $dA^{1}_{in}$ ，池化层的反向传播的数学表达式可写为 $dA^{1}_{in}=dA^{1}_{out}\times \frac{dA^{1}_{out}}{dA^{1}_{in}}$ ，其中最关键的一步是搞清楚 $\frac{dA^{1}_{out}}{dA^{1}_{in}}$ 怎么求。我们由之前的介绍可知，池化层分为最大池化和均值池化，我们来分别探讨这两种情况。