CVPR 2020丨图像超清化Texture Transformer Network for Image Super-Resolution（TTSR）

论文链接

Learning Texture Transformer Network for Image Super-Resolution
提取码：vo57

SR表示的就是Super-Resolution，是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像。

先上图，直观点看效果图。

目标框	RDN	RCAN	RSRGAN
示例图	CrossNet	SRNTT	TTSR（本文用例）

分别代表8张图片/组的清晰化效果，可以看出TTSR的清晰度明细提升了很多。

SR背景

SRCNN

传统的SR方法都是学习compact dictionary or manifold space to relate low/high-resolution patches。

SRCNN是深度学习在图像超分辨率重建上的开山之作，第一次通过采用卷积神经网络来实现低分辨率到高分辨率图像之间端到端的映射。网络的结构如下图所示：

上图也可以看出，网络层很简单，只是利用了三层卷积就分别把图像块的特征提取出来和特征表示，特征非线性映射和最终的图像重建。
使用均方误差(Mean Squared Error, MSE)作为损失函数，有利于获得较高的PSNR。
第一层CNN：对输入图片的特征提取。（9 x 9 x 64卷积核）
第二层CNN：对第一层提取的特征的非线性映射（1 x 1 x 32卷积核）
第三层CNN：对映射后的特征进行重建，生成高分辨率图像（5 x 5 x 1卷积核）。

简单介绍下鼻祖，下面开始正文。

TTSR

图像超分辨率技术，之前靠的更多是盲猜，一张模糊的图片，可能经过重建之后，会变成多种不同的图片。下图中的奥巴马，通过AI训练后预测出来的，貌似区别很大哈哈哈。


单图像超分辨率任务即基于低分辨率（LR）输入生成高分辨率（HR）图像。之前的方法通常是监督式的，其训练目标通常是度量超分辨率（SR）和高分辨率图像之间的像素级平均距离。

图像超分辨率技术，即从低分辨率图像中恢复出自然、清晰的高分辨率图像。与先前盲猜图片细节的方法不同，我们引入一张高分辨率参考图像来指引整个超分辨率过程。通过该张参考图像，将问题从较为复杂的图像纹理恢复/生成转化成了简单的纹理搜索/迁移。
简单的说就是本来要生成图像纹理的，这样要训练多张图片并且模型要自己学到很好的特征，但是现在 通过该张高分辨率参考图像，模型就转变成寻找图像纹理，并通过之前学到的特征进行纹理的迁移修复、解决纹理模糊和纹理失真的问题，形成一张高分辨率图像。

该模型可以有效地搜索与迁移高清的纹理信息，最大程度地利用了参考图像的信息，并正确地将高清纹理迁移到生成的超分辨率结果当中，解决纹理模糊和纹理失真的问题。

网络结构

可学习的纹理提取器
对于纹理信息的提取，目前主流的方法是将图像输入到预训练好的 VGG 网络中，提取中间的一些浅层特征作为图像的纹理信息。然而，这种方式有明显的缺陷。首先，VGG 网络的训练目标是以语义为导向的图像类别标签，其高层级的语义信息与我们所需要的低层级的纹理信息有着很大的差异。因此，以 VGG 模型中间层的特征作为纹理特征是值得商榷的。其次，对于不同的任务，所需要提取的纹理信息是有差别的，使用预训练好并且固定权重的 VGG 网络是缺乏灵活性的。对此，我们在纹理 Transformer 中提出了一种可学习的纹理提取器。该纹理提取器是一个浅层的卷积神经网络，随着 Transformer 的训练，该提取器也在训练过程中不断更新自己的参数。该设计使得我们的纹理特征提取器能够提取到最适合图像生成任务的纹理信息，为后面的纹理搜索与迁移提供了很好的基础，进而更加有利于高质量结果的生成。

相关性嵌入模块
如图所示，与传统的 Transformer 一样，本文提出的纹理 Transformer 同样具有 Q、K、V 要素。其中 Q 为 Query，代表从低分辨率提取出的纹理特征信息，用来进行纹理搜索；K 为 Key，代表高分辨率参考图像经过先下采样再上采样得到的与低分辨率图像分布一致的图像的纹理信息，用来进行纹理搜索；V为 Value，代表原参考图像的纹理信息，用来进行纹理迁移。对于 Q 和 K，本文提出了一个相关性嵌入模块来建立低分辨率输入图像和参考图像之间的关系。具体的，该模块将 Q 和 K 分别像卷积计算一样提取出特征块，然后以内积的方式计算 Q 和 K 中的特征块两两之间的相关性。内积越大的地方代表两个特征块之间的相关性越强，可迁移的高频纹理信息越多。反之，内积越小的地方代表两个特征块之间的相关性越弱，可迁移的高频纹理信息越少。相关性嵌入模块会输出一个硬注意力图和一个软注意力图。其中，硬注意力图记录了对 Q 中的每一个特征块，K 中对应的最相关的特征块的位置；软注意力图记录了这个最相关的特征块的具体相关性，即内积大小。这两个图分别会应用到硬注意力模块和软注意力模块中。

硬注意力模块
在硬注意力模块中，我们利用硬注意力图中所记录的位置，从 V 中迁移对应位置的特征块，进而组合成一个迁移纹理特征图 T。T 的每个位置包含了参考图像中最相似的位置的高频纹理特征。T 随后会与骨干网络中的特征进行通道级联，并通过一个卷积层得到融合的特征。

软注意力模块
在软注意力模块中，上述融合的特征会与软注意力图进行对应位置的点乘。基于这样的设计，相关性强的纹理信息能够赋予相对更大的权重；相关性弱的纹理信息，能够因小权重得到抑制。因此，软注意力模块能够使得迁移过来的高频纹理特征得到更准确的利用。