卷积与反卷积

一、卷积

1. 定义

  之前在博客里面提到过卷积神经网络，里面有提到卷积操作，最近在阅读论文的时候又遇到了反卷积，所以将二者拿出来进行分析比较。
  卷积是利用卷积核实现的，以一副图片为例，当它与一个卷积核进行卷积运算的时候，会得到一个feature map,feature map的大小与原图像相比一般会减小，这样就达到了提取特征的目的，同时，与全连接神经网络相比，又能够有效的减少参数数量，假设图像的大小为M*N, 卷积核大小为s*t, 步长为k，padding大小为p, 则对应的feature map大小为
$$H=[(M+2\ast p-s)/k]+1,W=[(N+2\ast p-t)/k]+1$$
二者均要向下取整。

2. 实现

假设有一副4*4的图像为
$$\begin{array}{cccc}{x}_{1,1}& x_{1,2}& x_{1,3}& x_{1,4}\\ x_{2,1}& x_{2,2}& x_{2,3}& x_{2,4}\\ x_{3,1}& x_{3,2}& x_{3,3}& x_{3,4}\\ x_{4,1}& x_{4,2}& x_{4,3}& x_{4,4}\end{array}$$
一个3*3的卷积核为
$$\begin{array}{ccc}{w}_{1,1}& w_{1,2}& w_{1,3}\\ w_{2,1}& w_{2,2}& w_{2,3}\\ w_{3,1}& w_{3,2}& w_{3,3}\end{array}$$
将他们进行卷积操作，得到一个2*2的feature map，
$$\begin{array}{cc}{r}_{1,1}& r_{1,2}\\ r_{2,1}& r_{2,2}\end{array}$$
相应地，我们有
$$r_{1,1}=w_{1,1}\ast x_{1,1}+w_{1,2}\ast x_{1,2}+w_{1,3}\ast x_{1,3}+w_{2,1}\ast x_{2,1}+w_{2,2}\ast x_{2,2}+w_{2,3}\ast x_{2,3}+w_{3,1}\ast x_{3,1}+w_{3,2}\ast x_{3,2}+w_{3,3}\ast x_{3,3}$$

$r_{1,2},r_{2,1},r_{2,2}$可以依次类推。
如果原图用矩阵X表示，feature map用矩阵Y表示，则卷积运算可以表示为如下：
$$Y=C\ast X$$
Y是一个4*1的矩阵，$[r_{1,1},r_{1,2},r_{2,1},r_{2,2}{]}^T$
C是一个4*16的系数矩阵，
$$\begin{array}{cccccccccccccccc}{w}_{1,1}& w_{1,2}& w_{1,3}& 0& w_{2,1}& w_{2,2}& w_{2,3}& 0& w_{3,1}& w_{3,2}& w_{3,3}& 0& 0& 0& 0& 0\\ 0& w_{1,1}& w_{1,2}& w_{1,3}& 0& w_{2,1}& w_{2,2}& w_{2,3}& 0& w_{3,1}& w_{3,2}& w_{3,3}& 0& 0& 0& 0\\ 0& 0& 0& 0& w_{1,1}& w_{1,2}& w_{1,3}& 0& w_{2,1}& w_{2,2}& w_{2,3}& 0& w_{3,1}& w_{3,2}& w_{3,3}& 0\\ 0& 0& 0& 0& 0& w_{1,1}& w_{1,2}& w_{1,3}& 0& w_{2,1}& w_{2,2}& w_{2,3}& 0& w_{3,1}& w_{3,2}& w_{3,3}\end{array}$$
X是一个16*1的矩阵
$[x_{1,1},x_{1,2},x_{1,3},x_{1,4},x_{2,1},x_{2,2},x_{2,3},x_{2,4},x_{3,1},x_{3,2},x_{3,3},x_{3,4},x_{4,1},x_{4,2},x_{4,3},x_{4,4}{]}^T$
由此可见，卷积运算可以转化为矩阵的运算。

具体的运算过程如下：

二、反卷积

  反卷积的英文名称有很多，deconvolution, transposed convolution, fractionally-strided convolution，其实都是一个意思。
  我们将卷积运算展开成了矩阵的运算，同样的，我们也可以利用矩阵的运算来实现反卷积。

利用卷积操作，我们将4*4的图像变成了2*2的feature map, 我们的方法是利用一个4*16的矩阵乘一个16*1的矩阵；反过来，我们要将2*2的feature map恢复成一个4*4的图像，可以利用一个16*4的矩阵乘一个4*1的矩阵，于是有
$$Y=C^T\ast X$$
Y是一个16*1的矩阵，$C^T$是一个16*4的矩阵，X是一个4*1的矩阵。这里的C的size和卷积操作中的是一样的。卷积的正向传播是反卷积的反向传播；卷积的反向传播是反卷积的反向传播。
反卷积中的系数矩阵C不一定和原卷积操作中的一致，但是他们的size符合转置的关系。

  所以，我们可以将反卷积看作卷积的逆过程，他们的系数矩阵互为转置。反卷积的操作可以分为三步

1. 在输入矩阵中添加0
2. 对1中的矩阵进行卷积操作
3. 对2中的结果进行裁剪

keras中有Conv2DTranspose之类的网络层，可以实现相关的操作。

参考资料¹

---

1. Up-sampling with Transposed Convolution. https://towardsdatascience.com/up-sampling-with-transposed-convolution-9ae4f2df52d0, 2016/2018-8.19. ↩︎