SRNTT:Image Super-Resolution by Neural Texture Transfer

Image Super-Resolution by Neural Texture Transfer

Zhifei Zhang,Zhaowen Wang,Zhe Lin,Hairong Qi

CVPR2019

摘要

之前提出的RefSR的方法虽然很有潜力，但是存在一些问题，一旦RefSR与LR不够相似的时候超分辨率的结果就很差。论文为了充分发挥RefSR的作用。不仅只学习RefSR的像素级的文本信息还同时学习多个层次的信息。

主要贡献

1. 论文学会用RefSR的思想，打破了SISR的束缚。（其实就是不再单纯地学习HR和LR的映射，而是引入RefSR）
2. 论文提出了SRNTT，可以得到更好的超分辨率效果。
3. 论文建立了一个新的数据集，CUFED5，对LR有不同相似程度的RefSR，用来进行进一步探索。

相关工作

SISR工作存在的问题：

1. 纹理不够清晰。
2. 加上感知损失，纹理清晰了但是大多是捏造的，不符合真实情况。

基于Ref的SR存在的问题：

1. Ref需要跟LR足够相似。
2. 只学习了Ref的像素级特征，或者一些浅层的特征。
3. Ref需要与LR对齐的。

为了得到更真实纹理的高分辨率图像，论文提出了SRNTT。

主要方法

网络结构如上图。

特征交换

特征交换这一部的主要工作就是在Ref中找到与LR最接近的块，然后替换掉LR中的块。这就涉及两个步骤(1)如何计算相似度(2)如何交换对应块。

（１）如何计算相似度

论文提出的方法不是计算整个图的相似度，而是分块计算。这里因为LR和Ref的大小不同，先对LR用bicubic进行上采样使LR和Ref具有相同的大小，而同时考虑到二者的分辨率不同，对Ref用bicubic进行下采样再上采样，使得的模糊程度跟接近。

考虑到和的块在颜色和光照上面可能有些不同，于是论文不直接对Patch的像素进行计算相似度，而在高层次的特征图上计算，即ÿ