Learning Texture Transformer Network for Image Super-resolution 论文解读

论文地址：https://arxiv.org/pdf/2006.04139.pdf
项目地址： https://github.com/FuzhiYang/TTSR

总述：为了恢复图像超分辨率结果的纹理信息，本文提出一种的TTSR的RefSR的方法。该TTSR包含四个关系紧密的模块：可学习的纹理提取模块，关联嵌入模块，用于纹理迁移的硬-注意力模块和用于纹理合成的软-注意力模块。此外，该方法可以通过跨尺度的堆叠方式，获得更好的实验结果。

• 介绍

  现如今，图像超分的方法主要分为两类，一类是单图像超分(SISR)，比如SRCNN，VDSR,RCAN等；另外一类是基于参考图像的超分方法(RefSR)。因为高分辨率图像在退化过程中会丢失很多细节和纹理信息，所以传统的单图像超分方法会产生模糊的结果；为了恢复更多的纹理信息，有研究者使用GANs来实现图像超分(SRGAN,ESRGAN等)，但是GANs所带来的伪影artifacts却很难避免。
  第二类方法通过Ref图像来实现图像超分取得了很好的结果，该方法通过从Ref 图像上迁移HR的纹理信息来获得视觉上可观的效果。本文的方法属于第二类，通过查询Ref 图像上合理纹理信息，将其融入到最终的超分结果。不同于以往的该类方法，本文能够有效的避免错误的纹理迁移。