CVPR2020:Learning Texture Transformer Network for Image Super-Resolution解读

论文信息：
Title：Learning Texture Transformer Network for Image Super-Resolution（用于图像超分辨率的学习纹理transformer网络）
Writers：Fuzhi Yang , Huan Yang, Jianlong Fu, Hongtao Lu , Baining Guo
Conference：cvpr 2020
作者单位：Department of Computer Science and Engineering, MoE Key Lab of Artificial Intelligence, AI Institute, Shanghai Jiao Tong University, Microsoft Research, Beijing, P.R. China
代码链接：添加链接描述
文章链接：添加链接描述

问题动机：
传统的SISR经常导致模糊效果，因为高分辨率(HR)纹理在退化过程中被过度破坏，无法恢复。基于参考的图像超分辨率(RefSR)技术最近取得了进展，它可以从给定的Ref图像中传输HR纹理，以产生视觉上令人愉悦的结果，但效果还是不大令人满意。而现有的基于生成对抗网络(GAN)的图像SR方法可以来缓解上述问题，但由GAN引起的幻觉和伪影进一步对图像SR任务提出了巨大挑战（棋盘效应）。然而它们都忽略了使用注意力机制来从Ref图像中转移高分辨率(HR)纹理，这限制了这些方法在具有挑战性的情况下的应用。

解决思路：
作者提出了一种新的图像超分辨率(TTSR)纹理transformer网络，其中LR和Ref图像分别表示为transformer中的查询（q）和键(k)。TTSR由四个紧密相关的模块组成，这些模块针对图像生成任务进行了优化，包括DNN的可学习纹理提取器、相关性嵌入模块、用于纹理转换的硬注意模块和用于纹理合成的软注意模块。这种设计鼓励对LR和Ref图像进行联合特征学习，其中可以通过注意力发现深层特征对应关系，从而可以传输准确的纹理特征。所提出的纹理transformer可以进一步以跨尺度方式堆叠，这使得能够从不同级别(例如，从1×到4×放大率)恢复纹理（比如参考图是1，需要纹理恢复的是4，这是可行的）。

方法亮点：
1.据作者所知，作者是最早将transformer架构引入图像生成任务的团队之一。更具体地说，作者为图像SR提出了一个具有四个密切相关模块的纹理transformer，它比SOTA方法有了显著的改进。
2.作者为图像生成任务提出了一种新的跨尺度特征集成模块，该模块通过堆叠多个纹理transformer来学习更强大的特征表示。

主要结果：
我们先来关注一下它的纹理transformer的部分