读论文《Dilated Residual Networks》记录

摘要：

1.由于在图像分类中，空间分辨率不断降低，场景的空间结构消失，空间敏锐度下降限制图像分类的准确性。文章用空洞卷积（空洞残差网络DRNs）提高输出特征图的分辨率来缓解这个问题。
2.文章还研究了空洞卷积带来的网格伪像（gridding artifacts）问题，并开发了一种去网格化（degridding

）的方法。
3.本文提出的这种DRNs网络对目标定位和语义分割都有提升作用。

Introduction

问题：

在理解一些复杂场景中，空间分辨率降低会丢失一些小尺度物体的信息，然而通过保留细小物体的贡献，这对于正确理解图像可能很重要。例如自然图像通常具有许多物体，这些物体的属性和相对配置对于理解场景很重要。当关键对象很小时例如三脚架， 或者有大的背景对象（如山峰），分类任务变得很困难。并且目标信号一旦消失，很难在恢复回来。

图像分类网络通常只是一些更详细的场景理解任务（例如语义分割和目标定位）网络的基础网络。对于这些任务来说，空间敏锐度丧失是提升精度的重大障碍。

DRNs

其核心思想：保存空间分辨率
和deeplabv3一样,在不增加参数的前提下，要扩大特征图的空间分辨率，并且还不能减少感受野，因此使用空洞卷积来代替block之间都降采样操作。

与原始ResNet的主要区别在conv4/5两层，文中使用$G_i^l$来表示第$l$个block的第$i$层。
在ResNet中$G_1^4$和$G_1^5$是$stride=2$的下采样卷积。为了提升空间分辨率，去掉了$stride=2$的下采样卷积。注意 这里对$G_1^4$的感受野没有受影响， 但是他所有的子序列的感受野都受到了影响。于是 使用rate=2的空洞卷积来代替$stride=2$的下采样卷积。对于$G_2^4$–$G_1^5$的所有卷积层都使用rate=2的空洞卷积，对于$G_2^5$及以后的卷积层都是用rate=4的空洞卷积.其余的结构和ResNet保持相同。

最后模型的参数和感受野都没有变化，但是但是输出特征图的分辨率提升了4*4倍。

Localization

这块没什么好说的，就是去掉global pooling,输出热图（activation map）。

Degridding (去网格化)

当特征图的频率含量高于扩张卷积的采样率时，就会出现网格伪影，如上图©所示。
下图能够更加直观地说明。输入一个激活点像素（fig.a), 一个rate=2的(3*3)卷积核(fig.b),最终的输出(fig.c). 于是乎最终得到的输出就是像网格一样的激活值，参考上图©.

于是乎为了解决这个问题了，作者提出了三种方法。
（1）**Removing max pooling **
下图(a)DRN-A-18是直接对Rest-Net的Conv4/5改进之后的网络，可以看到在7*7卷积之后有一个max-pooling操作，这种最大池化操作会导致高振幅高频激活，于是使用卷积来代替池化(b)DRN-B-26所示，下图能看出去掉之后变得很平滑。

（2）Adding layers
在网络的最后加入新的卷积层 (如(b)DRN-B-26最后两层所示)，增加一层rate=2和rate=1的空洞卷积层。

（3）Removing residual connections
然而仅仅在网络后面加卷积层也不足以完全去除gridding artifacts 现象，因为残差连接会把底层的gridding artifacts激活直接传到顶层，因此，需要把最后两层的残差连接去掉。(如©DRN-C-26最后两层所示)

经过上述三次改进之后，文中把DRN-C称为最终的DRNs网络

总结：

1.文章提出用空洞卷积的方式对Res-Net的Conv4/5修改，在不增加额外参数的前提下提高输出特征图的空间分辨率。
2.由于使用空洞卷积能够生成网格伪像，因此文中又提出了三种改进的方法: 1)去掉池化层 2)再网络最后增加扩张程度逐渐降低的卷积层 3)去掉最后顶层的残差连接层。