超分算法TTSR：Learning Texture Transformer Network for Image Super-Resolution 基于参考图像Ref的超分辨率重建

这篇文章TTSR应该是第一次将transformer引入到超分任务中，且是基于参考图像的超分重建RefSR，文章发表在CVPR2020。基于参考图像的超分不同于单图像超分，更注重于图像细节的还原，通过迁移参考图像中的相似纹理来还原HR图像。基于参考图像的超分文章并不多，这种方法的局限性比较大。TTSR是基于SRNTT这篇文章进行了改进，加入注意力机制，能选择更相似的纹理来完成SR图像恢复。

原文链接：TTSR：Learning Texture Transformer Network for Image Super-Resolution[CVPR 2020]
SRNTT：Image Super-Resolution by Neural Texture Transfer
源码：https://github.com/researchmm/TTSR

Abstract

图像超分辨率（SR），目的是从低分辨率图像（LR）中恢复真实纹理，以达到整张图像超清放大的要求。（就是细节更精确）事实上使用PSNR/SSIM这种评估方法只是一个全局的平均，在很难看出细节处理的好坏。本文不同于单图像超分SISR，是一种基于参考图像的超分RefSR，在先前的工作中，SRNTT表现较好，但并没有使用注意力机制来迁移纹理特征，也就是说在基于参考图像这种方法下并没有充分体现迁移方法的作用。因此在SRNTT的基础上，本文提出了一种类似Transformer结构的新方法，通过注意力可以发现深层特征对应，从而可以传递准确的纹理特征。

单图像超分SISR的输入是一张单独的图像，而基于参考图像的超分RefSR的输入是LR图像和一张高度相似的HR参考图像。

TTSR由四个模块组成，包括：DNN的可学习纹理提取器（learnable texture extractor by DNN），相关性嵌入模块（a relevance embedding module），用于纹理传递的硬注意力模块（hard-attention module for texture transfe）和用于纹理合成的软注意力模块（soft-attention module for texture synthesi）。能够有效地搜索与迁移高清的纹理信息，最大程度地利用了参考图像的信息，并正确地将高清纹理迁移到生成的超分辨率结果当中，解决纹理模糊纹理失真的问题。

TTSR可以以跨尺度的方式进一步堆叠，从而完成不同放大倍数的（例如，从x1倍、x2、x4倍放大比例）纹理恢复。

1 Introduction

对图像超分辨率的研究通常分为两种方式：单图像超分辨率（SISR）和基于参考的图像超分辨率（RefSR）。

1. 传统的SISR通常会导致模糊效果，因为高分辨率（HR）纹理在重建的过程中被过度破坏、丢失，无法恢复。尽管提出了基于生成对抗网络（GANs）的SR方法来缓解上述问题，但由GANs产生的伪影进一步对图像SR任务构成了巨大挑战。
2. 出现了基于参考图像的超分辨率技术。用一张与输入图像相似的高分辨率图像，辅助整个超分辨率的复原过程。从而图像超分问题由较为困难的纹理恢复/生成转化为了相对简单的纹理搜索与迁移，使得超分辨率结果在视觉效果上有了显著的提升。

为了解决这些问题，提出了一种新的用于图像超分辨率的纹理变换网络（TTSR）。

1. DNN的可学习纹理提取器（LTE）：提取纹理特征
2. 相关性嵌入模块（RE）：估计Q和K之间的相似性从而建立LR和Ref图像的相关性
3. 用于纹理传递的硬注意力模块（HA）：记录参考图像中与LR图像最相似的部分的位置
4. 用于纹理合成的软注意力模块（SA）：记录参考图像中与LR图像相似度最高的相似度

此外，还提出了一个跨尺度特征集成模块来堆叠纹理变换器，可以跨不同尺度学习特征，以实现更强大的特征表示。

2 Method

作者主要提出了一个Texture Transformer，这个结构内包含四个部分：可学习纹理提取器LTE、相关性嵌入RE、硬注意力模块HA、软注意力模块SA。从参考图像中提取与LR图像高度相似的纹理部分迁移到重建的LR图像中来填补细节。
再由TTSR堆叠来获得跨尺度表征。

首先看看TTSR的输入是 L R 、 R e f 、 R e f ↑ ↓ 、 L R ↑ LR、Ref、Ref↑↓、LR↑