[论文笔记] Image Super-Resolution by Neural Texture Transfer (CVPR2019)

题目：Image Super-Resolution by Neural Texture Transfer

代码：https://github.com/ZZUTK/SRNTT

会议：CVPR 2019

1. 简介

本文是Adobe发表在CVPR2019的基于参考图像的图像超分辨率重建论文，本文借鉴图像风格化 （image stylization）中神经纹理迁移（Neural Texture Transfer）思想，利用参考图像中的纹理，弥补低分辨率图像的细节信息。本文方法主要包括两步：1）特征空间的纹理匹配，2）移匹配的纹理。另外，本文提出一个CUFFED5数据集，这个数据集包含不同相似级别的参考图像。

2. 动机

对于传统的SISR问题，虽然使用感知相关的约束,比如感知损失（perceptual loss）和对抗损失（adversarial loss）能提升图像质量，使图像看起来更清晰，但是会生假的纹理（hallucinate fake textures）和人工的特征（artifacts）。也就是说，使用感知损失常常得不到真实的纹理细节信息。

基于参考（reference-based）的方法, 即RefSR，通过利用高分辨率（HR）参考图像的丰富纹理来补偿低分辨率（LR）图像丢失的细节。但是之前的方法需要参考图像与LR包含相似的内容，并且需要图像对齐，否则的话，这些方法效果会很差。RefSR理想上应该可以有效利用参考图像，如果参考图像与LR不同，也不应该损害LR的复原效果，即RefSR应不差于SISR。

为了解决传统RefSR的缺点，本文不需要图像对齐，而是通过在特征空间上匹配的方法，将语义相关的特征进行迁移·。

3. 方法

SRNTT整体框架,主要包含局部纹理特征匹配（交换）和纹理迁移两部分

3.1. Feature swaping（特征匹配/交换）

特征的匹配是在$I^{LR}$