图像超分辨之ZSSR

论文：“Zero-Shot” Super-Resolution using Deep Internal Learning

Github：https://github.com/assafshocher/ZSSR

主页：http://www.wisdom.weizmann.ac.il/~vision/zssr/

 

cvpr 2018

 

主要贡献：

1. 本文的ZSSR是第一个基于非监督的基于神经网络的超分方法。
2. ZSSR可以处理多种非理想情况下的图片（老旧历史照片，手机拍摄照片，互联网网络照片），并且支持各种各样的图片大小和类型。
3. ZSSR不需要进行预训练，并且消耗的计算资源也有限
4. 支持任何大小，任何长宽比尺度的图片超分
5. 可以适用于已知和未知的图片情况
6. 相比其他基于预训练的方法，在理想情况下，ZSSR可以取得相当的结果，在非理想情况会取得比预训练方法更好的结果。

 

 

内部图片的重要性：

内部图片是指从一张大图随机crop出固定大小的训练小图。使用内部图片训练的交叉熵损失比使用外部图片训练的交叉熵损失要小。内部图片可以比外部图片提供更多的细节信息。

 

整体流程:

Externally-supervised SR :

先使用外部训练集进行训练，然后根据输入图片进行测试。

ZSSR ：

先将测试图片缩小scale倍进行训练，待网络收敛，再将测试图片输入，得到放大scale倍的超分输出。

 

网络结构：

程序的实现和论文还是有点出入，网络结构为全卷积网络，最后一层没有relu，所有channel数都是64保持不变，输入和输出大小一样。

训练过程中先使用原始图片下采样的图片+噪声和数据增强（旋转((0◦; 90◦; 180◦; 270◦) )+flip(vertical,horizontal )）等进行训练，测试的时候，先使用程序中的imresize将图片扩大为需要最终输出的大小，再输入网络输出超分后结果。

 

实验结果：

强烈内部感受野结构的情况：

理想情况：

非理想情况：

 

总结：

（1）第一个超分领域的非预训练方法，训练加测试每张图片的平均时间为54秒（K80 GPU）。

（2）ZSSR方法在非理想情况下，效果优于VDSR ，EDSR+ 。在理想情况下，效果优于SRCNN，SelfExSR，但是相比VDSR ，EDSR+，效果要差点。