NNDL 作业八卷积导数反向传播

ys~~

已于 2024-01-08 20:14:56 修改

阅读量692

点赞数 13

文章标签： python 深度学习人工智能

于 2023-11-26 19:08:13 首次发布

本文链接：https://blog.csdn.net/m0_63010299/article/details/134586496

版权

卷积导数反向传播

1. 证明宽卷积具有交换性，即公式 $rot180\left( W \right) \widetilde{\otimes }X=rot180\left( X \right) \widetilde{\otimes }W$ 。
2. 对于一个输入为100 × 100 × 256的特征映射组，使用3 × 3的卷积核，输出为100 × 100 × 256的特征映射组的卷积层，求其时间和空间复杂度．如果引入一个1 × 1卷积核，先得到100 × 100 × 64的特征映射，再进行3 × 3的卷积，得到100 × 100 × 256的特征映射组，求其时间和空间复杂度。
3. 对于一个二维卷积，输入为3 × 3，卷积核大小为2 × 2，试将卷积操作重写为仿射变换的形式．参见公式(5.45) 。
4. 阅读 “5.3.1 卷积神经网络的反向传播算法”，举例说明推导过程.
5.忽略激活函数，分析卷积网络中卷积层的前向计算和反向传播（公式(5.39)）是一种转置关系。
6.在空洞卷积中，当卷积核大小为𝐾，膨胀率为𝐷时，如何设置零填充𝑃的值以使得卷积为等宽卷积。

1. 证明宽卷积具有交换性，即公式 $rot180\left( W \right) \widetilde{\otimes }X=rot180\left( X \right) \widetilde{\otimes }W$ 。

$\ \ \ \ \ \ \ \ \ W=\left( \begin{matrix} w_{11}& w_{12}\\ w_{21}& w_{22}\\ \end{matrix} \right) \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ X=\left( \begin{matrix} x_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\\ \end{matrix} \right)$ $rot180\left( W \right) =\left( \begin{matrix} w_{22}& w_{21}\\ w_{12}& w_{11}\\ \end{matrix} \right) \ \ \ \ \ \ \ \ rot180\left( X \right) =\left( \begin{matrix} x_{33}& x_{32}& x_{31}\\ x_{23}& x_{22}& x_{21}\\ x_{13}& x_{12}& x_{11}\\ \end{matrix} \right)$ $\widetilde{W}=\left( \ \begin{matrix} 0& 0& \ 0& \ 0& 0& 0\\ 0& 0& \ 0& \ 0& 0& 0\\ 0& 0& w_{11}& w_{12}& 0& 0\\ 0& 0& w_{21}& w_{22}& 0& 0\\ 0& 0& \ 0& \ 0& 0& 0\\ 0& 0& \ 0& \ 0& 0& 0\\ \end{matrix} \right) \ \ \ \ \ \ \ \ \ \ \ \ \widetilde{X}=\left( \begin{matrix} 0& \ 0& \ 0& \ 0& 0\\ 0& x_{11}& x_{12}& x_{13}& 0\\ 0& x_{21}& x_{22}& x_{23}& 0\\ 0& x_{31}& x_{32}& x_{33}& 0\\ 0& \ 0& \ 0& \ 0& 0\\ \end{matrix} \right)$ $rot180\left( W \right) \widetilde{\otimes }X=rot180\left( W \right) \otimes \widetilde{X}=\left( \begin{matrix} w_{22}& w_{21}\\ w_{12}& w_{11}\\ \end{matrix} \right) \otimes \left( \begin{matrix} 0& \ 0& \ 0& \ 0& 0\\ 0& x_{11}& x_{12}& x_{13}& 0\\ 0& x_{21}& x_{22}& x_{23}& 0\\ 0& x_{31}& x_{32}& x_{33}& 0\\ 0& \ 0& \ 0& \ 0& 0\\ \end{matrix} \right) =\left( \begin{matrix} w_{11}x_{11}& w_{12}x_{11}+w_{11}x_{12}& w_{12}x_{12}+w_{11}x_{13}& w_{12}x_{13}\\ w_{21}x_{11}+w_{11}x_{21}& w_{22}x_{11}+w_{21}x_{12}+w_{12}x_{21}+w_{11}x_{22}& w_{22}x_{12}+w_{21}x_{13}+w_{12}x_{22}+w_{11}x_{23}& w_{22}x_{13}+w_{12}x_{23}\\ w_{21}x_{21}+w_{11}x_{31}& w_{22}x_{21}+w_{21}x_{22}+w_{12}x_{31}+w_{11}x_{32}& w_{11}x_{22}+w_{21}x_{23}+w_{12}x_{32}+w_{11}x_{33}& w_{22}x_{23}+w_{12}x_{33}\\ w_{21}x_{31}& w_{22}x_{31}+w_{21}x_{32}& w_{22}x_{32}+w_{21}x_{33}& w_{22}x_{33}\\ \end{matrix} \right)$ $rot180\left( X \right) \widetilde{\otimes }W=rot180\left( X \right) \otimes \widetilde{W}=\left( \begin{matrix} x_{33}& x_{32}& x_{31}\\ x_{23}& x_{22}& x_{21}\\ x_{13}& x_{12}& x_{11}\\ \end{matrix} \right) \otimes \left( \begin{matrix} 0& 0& \ 0& \ 0& 0& 0\\ 0& 0& \ 0& \ 0& 0& 0\\ 0& 0& w_{11}& w_{12}& 0& 0\\ 0& 0& w_{21}& w_{22}& 0& 0\\ 0& 0& \ 0& \ 0& 0& 0\\ 0& 0& \ 0& \ 0& 0& 0\\ \end{matrix} \right) =\left( \begin{matrix} w_{11}x_{11}& w_{11}x_{12}+w_{12}x_{11}& w_{11}x_{13}+w_{12}x_{12}& w_{12}x_{13}\\ w_{11}x_{21}+w_{21}x_{11}& w_{11}x_{22}+w_{12}x_{21}+w_{21}x_{12}+w_{22}x_{11}& w_{11}x_{23}+w_{12}x_{22}+w_{21}x_{13}+w_{22}x_{12}& w_{12}x_{23}+w_{22}x_{13}\\ w_{11}x_{31}+w_{21}x_{21}& w_{11}x_{32}+w_{12}x_{31}+w_{21}x_{22}+w_{22}x_{21}& w_{11}x_{33}+w_{12}x_{32}+w_{21}x_{23}+w_{22}x_{22}& w_{12}x_{33}+w_{22}x_{23}\\ w_{21}x_{31}& w_{21}x_{32}+w_{22}x_{31}& w_{21}x_{33}+w_{22}x_{32}& w_{22}x_{33}\\ \end{matrix} \right)$
具体实例：
在这里插入图片描述

通过对比 $rot180\left( W \right) \widetilde{\otimes }X$ 与 $rot180\left( X \right) \widetilde{\otimes }W$ 结果可以看出这两个相等。同理，可推广至更大尺寸的 $W$ 和更大尺寸的 $X$ 。

在这里插入图片描述

在这里插入图片描述
可以看出宽卷积具有交换性。

可参考：宽卷积具有交换性

2. 对于一个输入为100 × 100 × 256的特征映射组，使用3 × 3的卷积核，输出为100 × 100 × 256的特征映射组的卷积层，求其时间和空间复杂度．如果引入一个1 × 1卷积核，先得到100 × 100 × 64的特征映射，再进行3 × 3的卷积，得到100 × 100 × 256的特征映射组，求其时间和空间复杂度。

时间复杂度，指的是浮点运算次数，理解为计算量。

计算公式： $O_H\times O_W\times C_{out}\times K_H\times K_W\times C_{in}$

其中 $O_H、O_W$ 是输出特征图的长、宽， $K_H、K_W$ 是卷积核的长、宽， $C_{in}、C_{out}$ 是输入、输出通道数。
时间复杂度决定了模型的训练/预测时间。如果复杂度过高，会导致模型训练和预测耗费大量时间，既无法快速的验证想法和改善模型，也无法做到快速的预测。
空间复杂度，即模型的参数数量和各层输出的特征图总大小。

计算公式： $K_H\times K_L\times C_{in}\times C_{out}+C_{out}\left( \text{偏置} \right) +O_H\times O_W\times C_{out}$

空间复杂度决定了模型的参数数量。模型的参数越多，训练模型所需的数据量就越大，而现实生活中的数据集通常不会太大，这会导致模型的训练更容易过拟合。

我看到的文章中，计算空间复杂度时，有人加了输出特征图，有人没加，我这里是加了的。

在这里插入图片描述
时间复杂度： $100\times 100\times 256\times 3\times 3\times 256=5.89824\times 10^9$
空间复杂度： $3\times 3\times 256\times 256+256+100\times 100\times 256=3.15008\times 10^6$

在这里插入图片描述

时间复杂度： $100\times 100\times 64\times 1\times 1\times 256+100\times 100\times 256\times 3\times 3\times 64=1.6384\times 10^9$
空间复杂度： $\left( 1\times 1\times 256\times 64+64+100\times 100\times 64 \right) +\left( 3\times 3\times 64\times 256+256+100\times 100\times 256 \right) =3.36416\times 10^6$

对比使用 $1 * 1$ 卷积核前后的计算量和参数数量，可以看出，使用 $1 * 1$ 卷积核可以减少模型的时间复杂度和空间复杂度。

3. 对于一个二维卷积，输入为3 × 3，卷积核大小为2 × 2，试将卷积操作重写为仿射变换的形式．参见公式(5.45) 。

在这里插入图片描述
根据上面我画的图，可以直观的看出将卷积操作转成仿射变换的过程。
$\ \ \ \ \ \ \ \ \ \ W=\left( \begin{matrix} w_{11}& w_{12}\\ w_{21}& w_{22}\\ \end{matrix} \right) \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ X=\left( \begin{matrix} x_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\\ \end{matrix} \right) \ \ \ \ \ \ \ \ \ \$ $Z=W\otimes X=\left[ \begin{matrix} w_{11}& w_{12}& \ 0& w_{21}& w_{22}& \ 0& \ 0& \ 0& \ 0\\ \ 0& w_{11}& w_{12}& \ 0& w_{21}& w_{22}& \ 0& \ 0& \ 0\\ \ 0& \ 0& \ 0& w_{11}& w_{12}& \ 0& w_{21}& w_{22}& \ 0\\ \ 0& \ 0& \ 0& \ 0& w_{11}& w_{12}& \ 0& w_{21}& w_{22}\\ \end{matrix} \right] \left[ \begin{array}{l} x_{11}\\ x_{12}\\ x_{13}\\ x_{21}\\ x_{22}\\ x_{23}\\ x_{31}\\ x_{32}\\ x_{33}\\ \end{array} \right]$

4. 阅读 “5.3.1 卷积神经网络的反向传播算法”，举例说明推导过程.

卷积网络的整体结构

在这里插入图片描述
首先，前向传播，经过卷积、激活、池化、全连接，求出损失函数 $f (Y)$ ，

然后，反向传播，首先是全连接层的反向传播，之前有推导过。全连接层反向传播的推导
然后是池化层的反向传播，池化层（下采样）的反向传播比较简单，其实就是个上采样的过程。

在这里插入图片描述

接着就是卷积层的反向传播。

注意：我下面举的这个例子没有加激活函数，如果有激活函数，还要乘以激活函数的导数。

在这里插入图片描述
$y_{11}=w_{11}x_{11}+w_{12}x_{12}+w_{21}x_{21}+w_{22}x_{22}+b$ $y_{12}=w_{11}x_{12}+w_{12}x_{13}+w_{21}x_{22}+w_{22}x_{23}+b$ $y_{21}=w_{11}x_{21}+w_{12}x_{22}+w_{21}x_{31}+w_{22}x_{32}+b$ $y_{22}=w_{11}x_{22}+w_{12}x_{23}+w_{21}x_{32}+w_{22}x_{33}+b$ $\mathbf{矩阵形式}\text{：}\left[ \begin{array}{c} y_{11}\\ y_{12}\\ y_{21}\\ y_{22}\\ \end{array} \right] =\left[ \begin{matrix} w_{11}& w_{12}& \ 0& w_{21}& w_{22}& \ 0& \ 0& \ 0& 0\\ \ 0& w_{11}& w_{12}& \ 0& w_{21}& w_{22}& \ 0& \ 0& 0\\ \ 0& \ 0& \ 0& w_{11}& w_{12}& 0& w_{21}& w_{22}& 0\\ \ 0& \ 0& \ 0& \ 0& w_{11}& w_{12}& \ 0& w_{21}& w_{22}\\ \end{matrix} \right] \left[ \begin{array}{l} x_{11}\\ x_{12}\\ x_{13}\\ x_{21}\\ x_{22}\\ x_{23}\\ x_{31}\\ x_{32}\\ x_{33}\\ \end{array} \right]$ $\mathbf{求f}\left( \mathbf{Y} \right) \mathbf{对W的偏导：}$ $\frac{\partial f\left( Y \right)}{\partial w_{11}}=\frac{\partial f\left( Y \right)}{\partial y_{11}}x_{11}+\frac{\partial f\left( Y \right)}{\partial y_{12}}x_{12}+\frac{\partial f\left( Y \right)}{\partial y_{21}}x_{21}+\frac{\partial f\left( Y \right)}{\partial y_{22}}x_{22}$ $\frac{\partial f\left( Y \right)}{\partial w_{12}}=\frac{\partial f\left( Y \right)}{\partial y_{11}}x_{12}+\frac{\partial f\left( Y \right)}{\partial y_{12}}x_{13}+\frac{\partial f\left( Y \right)}{\partial y_{21}}x_{22}+\frac{\partial f\left( Y \right)}{\partial y_{22}}x_{23}$ $\frac{\partial f\left( Y \right)}{\partial w_{21}}=\frac{\partial f\left( Y \right)}{\partial y_{11}}x_{21}+\frac{\partial f\left( Y \right)}{\partial y_{12}}x_{22}+\frac{\partial f\left( Y \right)}{\partial y_{21}}x_{31}+\frac{\partial f\left( Y \right)}{\partial y_{22}}x_{32}$ $\frac{\partial f\left( Y \right)}{\partial w_{22}}=\frac{\partial f\left( Y \right)}{\partial y_{11}}x_{22}+\frac{\partial f\left( Y \right)}{\partial y_{12}}x_{23}+\frac{\partial f\left( Y \right)}{\partial y_{21}}x_{32}+\frac{\partial f\left( Y \right)}{\partial y_{22}}x_{33}$ $\mathbf{矩阵形式：}\left[ \begin{array}{c} \frac{\partial f\left( Y \right)}{\partial w_{11}}\\ \frac{\partial f\left( Y \right)}{\partial w_{12}}\\ \frac{\partial f\left( Y \right)}{\partial w_{21}}\\ \frac{\partial f\left( Y \right)}{\partial w_{22}}\\ \end{array} \right] =\left[ \begin{matrix} x_{11}& x_{12}& x_{21}& x_{22}\\ x_{12}& x_{13}& x_{22}& x_{23}\\ x_{21}& x_{22}& x_{31}& x_{32}\\ x_{22}& x_{23}& x_{32}& x_{33}\\ \end{matrix} \right] \left[ \begin{array}{c} \frac{\partial f\left( Y \right)}{\partial y_{11}}\\ \frac{\partial f\left( Y \right)}{\partial y_{12}}\\ \frac{\partial f\left( Y \right)}{\partial y_{21}}\\ \frac{\partial f\left( Y \right)}{\partial y22}\\ \end{array} \right]$ $\mathbf{卷积形式：}\left[ \begin{matrix} \frac{\partial f\left( Y \right)}{\partial w_{11}}& \frac{\partial f\left( Y \right)}{\partial w_{12}}\\ \frac{\partial f\left( Y \right)}{\partial w_{21}}& \frac{\partial f\left( Y \right)}{\partial w_{22}}\\ \end{matrix} \right] =\left[ \begin{matrix} \frac{\partial f\left( Y \right)}{\partial y_{11}}& \frac{\partial f\left( Y \right)}{\partial y_{12}}\\ \frac{\partial f\left( Y \right)}{\partial y_{21}}& \frac{\partial f\left( Y \right)}{\partial y_{22}}\\ \end{matrix} \right] \otimes \left[ \begin{matrix} x_{11}& x_{12}& x_{13}\\ x_{21}& x_{22}& x_{23}\\ x_{31}& x_{32}& x_{33}\\ \end{matrix} \right]$ $\text{即：}\frac{\mathbf{\partial f}\left( \mathbf{Y} \right)}{\mathbf{\partial W}}=\frac{\mathbf{\partial f}\left( \mathbf{Y} \right)}{\mathbf{\partial Y}}\otimes \mathbf{X}$ $\mathbf{求f}\left( \mathbf{Y} \right) \mathbf{对X的偏导：}$ $\frac{\partial f\left( Y \right)}{\partial x_{11}}=\frac{\partial f\left( Y \right)}{\partial y_{11}}w_{11}$ $\frac{\partial f\left( Y \right)}{\partial x_{12}}=\frac{\partial f\left( Y \right)}{\partial y_{11}}w_{12}+\frac{\partial f\left( Y \right)}{\partial y_{12}}w_{11}$ $\frac{\partial f\left( Y \right)}{\partial x_{13}}=\frac{\partial f\left( Y \right)}{\partial y_{12}}w_{12}$ $\frac{\partial f\left( Y \right)}{\partial x_{21}}=\frac{\partial f\left( Y \right)}{\partial y_{11}}w_{21}+\frac{\partial f\left( Y \right)}{\partial y_{21}}w_{11}$ $\frac{\partial f\left( Y \right)}{\partial x_{22}}=\frac{\partial f\left( Y \right)}{\partial y_{11}}w_{22}+\frac{\partial f\left( Y \right)}{\partial y_{12}}w_{21}+\frac{\partial f\left( Y \right)}{\partial y_{21}}w_{12}+\frac{\partial f\left( Y \right)}{\partial y_{22}}w_{11}$ $\frac{\partial f\left( Y \right)}{\partial x_{23}}=\frac{\partial f\left( Y \right)}{\partial y_{12}}w_{22}+\frac{\partial f\left( Y \right)}{\partial y_{22}}w_{12}$ $\frac{\partial f\left( Y \right)}{\partial x_{31}}=\frac{\partial f\left( Y \right)}{\partial y_{21}}w_{21}$ $\frac{\partial f\left( Y \right)}{\partial x_{32}}=\frac{\partial f\left( Y \right)}{\partial y_{21}}w_{22}+\frac{\partial f\left( Y \right)}{\partial y_{22}}w_{21}$ $\frac{\partial f\left( Y \right)}{\partial x_{33}}=\frac{\partial f\left( Y \right)}{\partial y_{22}}w_{22}$ $\mathbf{矩阵形式：}\left[ \begin{array}{l} \frac{\partial f\left( Y \right)}{\partial x_{11}}\\ \frac{\partial f\left( Y \right)}{\partial x_{12}}\\ \frac{\partial f\left( Y \right)}{\partial x_{13}}\\ \frac{\partial f\left( Y \right)}{\partial x_{21}}\\ \frac{\partial f\left( Y \right)}{\partial x_{22}}\\ \frac{\partial f\left( Y \right)}{\partial x_{23}}\\ \frac{\partial f\left( Y \right)}{\partial x_{31}}\\ \frac{\partial f\left( Y \right)}{\partial x_{32}}\\ \frac{\partial f\left( Y \right)}{\partial x_{33}}\\ \end{array} \right] =\left[ \begin{matrix} w_{11}& \ 0& \ 0& \ 0\\ w_{12}& w_{11}& \ 0& \ 0\\ \ 0& w_{12}& \ 0& \ 0\\ w_{21}& \ 0& w_{11}& \ 0\\ w_{22}& w_{21}& w_{12}& w_{11}\\ \ 0& w_{22}& \ 0& w_{12}\\ \ 0& \ 0& w_{21}& \ 0\\ \ 0& \ 0& w_{22}& w_{21}\\ \ 0& \ 0& \ 0& w_{22}\\ \end{matrix} \right] \left[ \begin{array}{c} \frac{\partial f\left( Y \right)}{\partial y_{11}}\\ \frac{\partial f\left( Y \right)}{\partial y_{12}}\\ \frac{\partial f\left( Y \right)}{\partial y_{21}}\\ \frac{\partial f\left( Y \right)}{\partial y_{22}}\\ \end{array} \right]$ $\mathbf{卷积形式：}\left[ \begin{matrix} \frac{\partial f\left( Y \right)}{\partial x_{11}}& \frac{\partial f\left( Y \right)}{\partial x_{12}}& \frac{\partial f\left( Y \right)}{\partial x_{13}}\\ \frac{\partial f\left( Y \right)}{\partial x_{21}}& \frac{\partial f\left( Y \right)}{\partial x_{22}}& \frac{\partial f\left( Y \right)}{\partial x_{23}}\\ \frac{\partial f\left( Y \right)}{\partial x_{31}}& \frac{\partial f\left( Y \right)}{\partial x_{32}}& \frac{\partial f\left( Y \right)}{\partial x_{33}}\\ \end{matrix} \right] =\left[ \begin{matrix} \frac{\partial f\left( Y \right)}{\partial y_{22}}& \frac{\partial f\left( Y \right)}{\partial y_{21}}\\ \frac{\partial f\left( Y \right)}{\partial y_{12}}& \frac{\partial f\left( Y \right)}{\partial y_{11}}\\ \end{matrix} \right] \otimes \left[ \begin{matrix} \ 0& \ 0& \ 0& \ 0\\ \ 0& w_{11}& w_{12}& \ 0\\ \ 0& w_{21}& w_{22}& \ 0\\ \ 0& \ 0& \ 0& \ 0\\ \end{matrix} \right]$ $\ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ =\left[ \begin{matrix} w_{22}& w_{21}\\ w_{12}& w_{11}\\ \end{matrix} \right] \otimes \left[ \begin{matrix} \ 0& \ 0& \ 0& \ 0\\ \ 0& \frac{\partial f\left( Y \right)}{\partial y_{11}}& \frac{\partial f\left( Y \right)}{\partial y_{12}}& \ 0\\ \ 0& \frac{\partial f\left( Y \right)}{\partial y_{21}}& \frac{\partial f\left( Y \right)}{\partial y_{22}}& \ 0\\ \ 0& \ 0& \ 0& \ 0\\ \end{matrix} \right]$ $\text{即：}\frac{\mathbf{\partial f}\left( \mathbf{Y} \right)}{\mathbf{\partial X}}=\mathbf{rot180}\left( \frac{\mathbf{\partial f}\left( \mathbf{Y} \right)}{\mathbf{\partial Y}} \right) \widetilde{\otimes }\mathbf{W}$ $\ \ \ \ \ \ \ \ \ \ \ =\mathbf{rot180}\left( \mathbf{W} \right) \widetilde{\otimes }\frac{\mathbf{\partial f}\left( \mathbf{Y} \right)}{\mathbf{\partial Y}}$ $\mathbf{求f}\left( \mathbf{Y} \right) \mathbf{对b的偏导：}$ $\frac{\partial f\left( Y \right)}{\partial b}=\frac{\partial f\left( Y \right)}{\partial y_{11}}+\frac{\partial f\left( Y \right)}{\partial y_{12}}+\frac{\partial f\left( Y \right)}{\partial y_{21}}+\frac{\partial f\left( Y \right)}{\partial y_{22}}$

5.忽略激活函数，分析卷积网络中卷积层的前向计算和反向传播（公式(5.39)）是一种转置关系。

根据我上面推导时的公式：
前向计算：
$y_{11}=w_{11}x_{11}+w_{12}x_{12}+w_{21}x_{21}+w_{22}x_{22}+b$ $y_{12}=w_{11}x_{12}+w_{12}x_{13}+w_{21}x_{22}+w_{22}x_{23}+b$ $y_{21}=w_{11}x_{21}+w_{12}x_{22}+w_{21}x_{31}+w_{22}x_{32}+b$ $y_{22}=w_{11}x_{22}+w_{12}x_{23}+w_{21}x_{32}+w_{22}x_{33}+b$ $\mathbf{矩阵形式}\text{：}\left[ \begin{array}{c} y_{11}\\ y_{12}\\ y_{21}\\ y_{22}\\ \end{array} \right] =\left[ \begin{matrix} w_{11}& w_{12}& \ 0& w_{21}& w_{22}& \ 0& \ 0& \ 0& 0\\ \ 0& w_{11}& w_{12}& \ 0& w_{21}& w_{22}& \ 0& \ 0& 0\\ \ 0& \ 0& \ 0& w_{11}& w_{12}& 0& w_{21}& w_{22}& 0\\ \ 0& \ 0& \ 0& \ 0& w_{11}& w_{12}& \ 0& w_{21}& w_{22}\\ \end{matrix} \right] \left[ \begin{array}{l} x_{11}\\ x_{12}\\ x_{13}\\ x_{21}\\ x_{22}\\ x_{23}\\ x_{31}\\ x_{32}\\ x_{33}\\ \end{array} \right]$
反向传播：
$\mathbf{矩阵形式：}\left[ \begin{array}{l} \frac{\partial f\left( Y \right)}{\partial x_{11}}\\ \frac{\partial f\left( Y \right)}{\partial x_{12}}\\ \frac{\partial f\left( Y \right)}{\partial x_{13}}\\ \frac{\partial f\left( Y \right)}{\partial x_{21}}\\ \frac{\partial f\left( Y \right)}{\partial x_{22}}\\ \frac{\partial f\left( Y \right)}{\partial x_{23}}\\ \frac{\partial f\left( Y \right)}{\partial x_{31}}\\ \frac{\partial f\left( Y \right)}{\partial x_{32}}\\ \frac{\partial f\left( Y \right)}{\partial x_{33}}\\ \end{array} \right] =\left[ \begin{matrix} w_{11}& \ 0& \ 0& \ 0\\ w_{12}& w_{11}& \ 0& \ 0\\ \ 0& w_{12}& \ 0& \ 0\\ w_{21}& \ 0& w_{11}& \ 0\\ w_{22}& w_{21}& w_{12}& w_{11}\\ \ 0& w_{22}& \ 0& w_{12}\\ \ 0& \ 0& w_{21}& \ 0\\ \ 0& \ 0& w_{22}& w_{21}\\ \ 0& \ 0& \ 0& w_{22}\\ \end{matrix} \right] \left[ \begin{array}{c} \frac{\partial f\left( Y \right)}{\partial y_{11}}\\ \frac{\partial f\left( Y \right)}{\partial y_{12}}\\ \frac{\partial f\left( Y \right)}{\partial y_{21}}\\ \frac{\partial f\left( Y \right)}{\partial y_{22}}\\ \end{array} \right]$

可以看出，卷积网络中卷积层的前向计算和反向传播是一种转置关系。
前向计算时，第 $l + 1$ 层的净输入为 $z^{l+1}=W^{l+1}z^l$ 。
反向传播时，第 $l$ 层的误差为 $\sigma ^l=\left( W^{l+1} \right) ^T\sigma ^{l+1}$ 。

6.在空洞卷积中，当卷积核大小为𝐾，膨胀率为𝐷时，如何设置零填充𝑃的值以使得卷积为等宽卷积。

空洞卷积（膨胀卷积）：注意是在卷积核上插入空洞，从而增大感受野，同时不增加参数数量。
在这里插入图片描述

首先看下面的公式，如何根据输入尺寸、卷积核大小、填充、步长，求输出的尺寸。

在这里插入图片描述

总结：
这是实验收获最大的就是通过手推卷积层的公式，对卷积层反向传播的过程有了更深的了解。同时知道了宽卷积具有交换性，知道了怎么计算卷积层的时间复杂度和空间复杂度，知道了卷积层的前向传播和反向传播是“转置”关系（注意：不是逆运算，只是形式上的转置关系），还学会了空洞卷积。

提醒：画图、编辑文章、公式编辑完之后一定一定要及时保存，我就因为没及时保存卷积反向传播的公式，结果又推了一遍！！！但是印象也更加深刻了。

参考文章：
深度解析转置卷积，理解转置卷积的原理
 宽卷积具有交换性
 卷积神经网络(CNN)反向传播算法 -刘

ys~~

关注

13
点赞
踩
12

收藏

觉得还不错? 一键收藏
1
评论
NNDL 作业八卷积导数反向传播

卷积导数反向传播1. 证明宽卷积具有交换性，即公式rot180(W)⊗~X=rot180(X)⊗~Wrot180\left( W \right) \widetilde{\otimes }X=rot180\left( X \right) \widetilde{\otimes }Wrot180(W)⊗X=rot180(X)⊗W。2. 对于一个输入为100 × 100 × 256的特征映射组，使用3 × 3的卷积核，输出为100 × 100 × 256的特征映射组的卷积层，求其时间和空间复杂度．
复制链接

扫一扫