超分辨率——Dual Residual Networks Leveraging the Potential of Paired Operations for Image Restoration

CVPR 2019 Tohoku University
怀着敬意读完这篇文章~

我觉的，这篇文章相对来说是一篇 总结性的文章，所以没有，作者针对 某一问题，而提出某个结构这个环节。如果硬要说，作者怎么会想到这个点的话，应该像论文说的一样，看到 up and down-sampling、large- and small- size kernel相关的论文，联想到，将每一部分想象成一个容器，针对不同的任务，往容器中塞不同的操作，因此就有了这篇文章中的方法！！！

Introduction

这个图就是这篇文章的 ideal，将深度学习想象成信号流。文章中分析图上四种模型：其中图中(a)，也就是residual net效果比较好的原因是输入到输出的信号流 有$2^n$条。在结合 操作pair很自然的想到图b，但是图b相对于图c路径太少，想到图c后，发现，信号流中两个操作没有成pair，因此想到c，我的意淫到此结束。作者介绍模型大体框架后，通过在五个任务九个数据集上验证，这个方法性能高于以往的方法。

Method

左上角为作者提出的模型block、其中T_1, T_2分别为两种不同操作，C为卷积层，接下来，我们了解下，这个模块在五个任务中分别如何应用。
五个任务为：

• Noise Removal
• Motion Blur Removal
• Haze Removal
• Raindrop removal
• Rainstreak Removal

Noise Removal

这个图就是去噪的网络结构，从 **Exploiting the potential of standard convolutional autoencoders for image restoration by evolutionary search.**中，作者将成对操作设计为 大感受野和小感受野操作。

Motion Blur Removal

两个操作时：up- and down-sampling，其中，up-采用的 PixelShuffle，down-通过卷积来实现下采样。

Haze Removal

去雾，两个操作：up- and down-sampling，其中up-采用 PixelShuffle，下采样采用 Se-ResNet

Raindrop removal

去雨滴，包括两个过程：定位雨滴区域和恢复区域像素，作者参考这篇Attentive generative adversarial network for raindrop
removal from a single image. (明天看一下)

Rain-streak Removal

去雨线(有雨的画面，但是雨是条状的)，Non-locally enhanced encoder-decoder network
for single image de-raining. 这篇可以看一下，和上面 Noise removal类似，这里是 selectively weighs feature maps
到此结束，回去睡觉
2019.7.31.21.49