深度学习中的各种卷积

1.空洞卷积(Dilated convolution)
传统的CNN通常采用pooling或up-sampling来整合多尺度上下文信息，这种方式会损失分辨率。FCN的做法是先像传统的CNN那样对图像做卷积再做pooling，降低图像尺寸的同时增大感受野。up-sampling一般采用反卷积操作。但是在先缩小再放大尺寸的过程中肯定有一些信息损失掉了。

Dilated convolution就是用来解决这个问题的，没有pooling或uo-samplig，不需要分析重新放缩的图像，能看到较大的感受野信息(感受野指数级增长)不损失分辨率。

空洞卷积比正常卷积多了个空洞率参数，只要用来表示扩张的大小。空洞率为1的空洞卷积就是正常卷积，卷积核大小为3，padding为1，步长为2，对输入为55的特征图进行卷积，生成33的特征图，如图1所示

图一

卷积核为33，空洞率为2，步长为1，对输入为77的特征图进行空洞卷积，生成3*3的特征图，如图2所示

图二
下图显示了当 l-1,2,4 时的卷积核大小。

图三
在图像中，红点为卷积核对应的输入”像素“，绿色为其在输入中的感受野。
图(a)对应图(a)对应3x3的1-dilated conv，和普通的卷积操作一样。图(b)对应3x3的空洞率为2的卷积，实际的卷积核还是3x3，但空洞率为2。对于一个7x7的图像块，只有9个红色的点即3x3的卷积核发生卷积操作，其余的点略过。也可以理解为卷积核的大小为7x7，但是只有图中的9个点的权重不为0，其余都为0。可以看到虽然卷积核的大小只有3x3，但是这个卷积的感受野已经增大到了7x7。如果考虑到这个2-dilated convolution的前一层有一个1-dilated convolution的话，那么每个红点就