参考: A guide to convolution arithmetic for deep learning
如何理解深度学习中的deconvolution networks?
要点:
- 卷积运算实际上是一种矩阵的乘法运算。反卷积相当于卷积在神经网络结构的正向和反向传播中做相反的矩阵运算。
卷积运算可表示为(C是一个由卷积核转换而来的稀疏矩阵)。而反卷积运算就是正向时左乘,而反向时左乘,即的运算。通常深度学习的网络框架就是采用这种方式实现反卷积的。此外,另一种实现反卷积的方式是采用全卷积来实现反卷积,但这样效率很低。前一种方式利于反卷积的具体实现,后一种方式可以更直观形象地理解反卷积。(参考文献1中有很多很多图)
上面这张图,从绿色到蓝色是卷积的过程,从下面到上面是反卷积的过程。
2.膨胀卷积通常用来增加卷积核的感受野而不增加核的尺寸。通过将卷积核膨胀实现。若卷积核尺寸为k,膨胀率为d,则卷
积核的有效尺寸实际是 k+(k-1)*(d-1)