卷积convolution函数详解及反向传播中的梯度求导

摘要

本文给出 convolution 函数的定义, 并求解其在反向传播中的梯度

相关

配套代码, 请参考文章 :

Python和PyTorch对比实现卷积convolution函数及反向传播

系列文章索引 :
https://blog.csdn.net/oBrightLamp/article/details/85067981

正文

1. 概念

灰度图片单通道卷积 :

图片来源 : https://github.com/vdumoulin/conv_arithmetic

RGB图片三通道分别卷积, 将三个实数值结果相加 :

图片来源 : http://cs231n.github.io/convolutional-networks/

关于卷积的概念, 网络上已经有大量的详细资料, 都讲的很好, 这里就不再赘述了.

2. 卷积的定义

本文约定矩阵元素的脚标从 0 开始.

当 X 为 m x n 矩阵, W 为 2 x 2 矩阵, 步长为 1 时 :
$$\begin{gathered} y_{ij}=\sum _{i=0}^{m-2}\sum _{j=0}^{n-2}(x_{i,j}{w}_{00}+x_{i,j+1}{w}_{01}+x_{i+1,j}{w}_{10}+x_{i+1,j+1}{w}_{11})+b \\ i⩽m-2 \\ j⩽n-2 \end{gathered}$$
当 X 为 m x n 矩阵, W 为 p x q 矩阵, 步长为 1 时 :
$$\begin{gathered} y_{ij}=\sum _{r=0}^{p-1}\sum _{s=0}^{q-1}{x}_{i+r,j+s}{w}_{rs}+b \\ i⩽m-p \\ j⩽n-q \end{gathered}$$
当 W 为 p x q 矩阵, 步长为 t, 为保证整除, 填充后的 X 是 m x n 矩阵时 :
$$\begin{gathered} y_{ij}=\sum _{r=0}^{p-1}\sum _{s=0}^{q-1}{x}_{i\cdot t+r,j\cdot t+s}{w}_{rs}+b \\ i⩽(m-p)/t \\ j⩽(n-q)/t \end{gathered}$$

偏置 b 为标量.

3. 反向传播

3.1 误差值对 X 的梯度的理论推导

当 W 为 p x q 矩阵, 步长为 t, 为保证整除, 填充后的 X 是 m x n 矩阵, 经 conv 卷积得到矩阵 g x h 矩阵 Y, 往前 forward 传播得到误差值 error (标量 e ). 上游的误差梯度向量 $\nabla e_{(Y)}$ 已在反向传播时得到, 求 e 对 X 的梯度.

已知 :
$$y_{ij}=\sum _{r=0}^{p-1}\sum _{s=0}^{q-1}{x}_{i\cdot t+r,j\cdot t+s}{w}_{rs}$$