转置卷积和孔洞卷积（扩张卷积）

链接：https://pan.baidu.com/s/15NsS8WtYQiahM6p_z_YBNQ 
提取码：3q96 

本文对A guide to convolution arithmetic for deep 的第四章部分翻译，纯属个人学习的。

这一篇是讲空洞卷积的：https://www.zhihu.com/question/54149221

膨胀卷积：https://blog.csdn.net/zhangjunhit/article/details/70157920

前面大部分都讲的是卷积操作，包括卷积核、步长、pad，（pad表示一个维度左右各补充几个0，总共是2*pad的补充）

这几个怎么影响输出的size的，公式：

i是原尺寸，p是补充的pad，k是卷积核的长，s是步长，are you ok？ 哈哈

图解：

           

下面这个才是重点

基本意思就是，有一个输入4*4的图片，暂定为一个通道，然后flattened拉平成一行，shape是（16，）用X表示，然后将3*3的卷积核表达成一个稀疏矩阵C，其中的值没有变化。原矩阵：

[[w00,w01,w02],

[w10,w11,w12],

[w20,w21,w22]

]

稀疏矩阵C：

然后是CX=result，再reshape成2*2，注意图2.1。这样结果与正常卷积是一样的。

在反向传播时用的就是CT（C的转置），很容易得到。

转置卷积——也称为分阶跃卷积或反卷积-通过交换卷积的正向和反向传递来实现。一种方法是注意到核函数定义了卷积，但是

它是直接卷积还是转置卷积是由如何计算向前和向后传递。

For instance, although the kernel w defines a convolution whose forward and backward passes are computed by multiplying with C and CT respectively, it also defines a transposed convolution whose forward and backward passes are computed by multiplying with CT and (CT ) T = C respectively.

例如，虽然核w定义了一个卷积，它的前向传播和反向传播通过C或者CT乘计算,还定义了一个转置卷积，它的前向和反向传播是用CT和(CT)T的乘计算。

Finally note that it is always possible to emulate a transposed convolution with a direct convolution.The disadvantage is that it usually involves adding many columns and rows of zeros to the input, resulting in a much less efficient implementation

最后请注意，总是可以通过用直接卷积模拟一个转置卷积。缺点是，它通常需要在输入中添加许多列和行0，导致实现效率大大降低.(也就说作者不赞成正向卷积操作，转置卷积操作高效)

直接卷积模拟转置卷积：C.T × result = X （大家可以推推维度），

对于X[0] = *result[0] + 0*result[1] + 0*result[2] + 0*result[3]

转置卷积也称为分阶跃卷积或反卷积（ fractionally strided convolutions or deconvolutions），其工作原理是交换卷积的正反向传递。一种方法是注意到核函数定义了卷积，但是它是直接卷积还是转置卷积是由计算正向和反向传递的方式决定的。

考虑对给定输入的用转置卷积的最简单的方法是：

       把输入想象成直接卷积的结果-特征图。因此，转置卷积可以被认为是允许恢复此初始特征映射的形状的操作。

下面的图表示：

        一种可以认为对2*2的恢复成了4*4的，先填充pad=2，然后用3*3卷积核，得到4*4的特征图；

        一种认为对4*4的做了转置卷积操作，得到2*2特征图。（高效  ）

最后这几个，我还没看懂，暂时放图上来

5.1 孔卷积

膨胀卷积通过在内核元素之间插入空格使内核膨胀。膨胀率由一个额外的超参数d来控制。实现可能不同，但通常在内核元素之间插入d-1空格，使d = 1对应于一个正则卷积。 

扩展卷积用于在不增加内核大小的情况下廉价地增加输出单元的感受野，当多个扩展卷积一个接一个叠加时，这种方法尤其有效。具体例子见Oord等人(2016)，其中提出的WaveNet模型实现了原始音频的自回归生成模型，该模型使用扩展卷积在过去音频帧的大上下文中设置新的音频帧。

为了理解膨胀率d与输出大小o之间的关系，考虑d对有效内核大小的影响是很有用的。大小为k的核被因子d膨胀后具有有效大小：

形成膨胀卷积的关系如下：