SRNTT: Image Super-Resolution by Neural Texture Transfer
[Paper] [Code]
SRNTT方法创新点:在
摘要
由于低分辨率(LR)图像中的大量信息丢失,进一步推进单图像超分辨(SISR)的最新技术已变得极具挑战性。 另一方面,基于参考的超分辨率(RefSR)已被证明在提供与LR输入具有相似内容的参考(Ref)图像时,有望恢复高分辨率(HR)图像细节。
但是当参考图像不太相似时,RefSR 的质量可能会严重下降。本文旨在通过利用具有较强鲁棒性的参考图像,利用更多纹理细节来释放 RefSR 的潜力,即使提供了不相关的参考图像也是如此。受近期图像风格化工作的启发,我们将 RefSR 问题公式化为神经纹理转移。我们设计了一个端到端的深度模型,该模型通过根据参考图像的纹理相似性自适应传递纹理来丰富 HR 图像细节。而不是像以前的方法那样在原始像素空间中匹配内容,我们的主要贡献是在神经空间中进行的多级匹配。
这种匹配方案促进了多尺度神经网络特征的传递,这使得该模型能够从那些语义相关的参考图像的子图像块中受益更多,即使在最不相关的参考图像输入上,能够至少达到 SISR 的性能。我们为 RefSR 的一般研究建立了一个基准数据集,其中包含参考图像与相似程度不同的LR输入配对。
提出方法
Feature swap 特征交换
我们首先进行特征交换,它会在整个
1. 计算特征相似性 由于 LR 和 Ref 图像块的颜色和照度也可能不同,因此我们在卷积网络特征空间$phi(I)$中匹配它们的相似性,以强调结构和纹理信息。其计算方式如下:
可以将相似度计算有效地实现为所有LR子图像上的一组卷积(或相关)运算,每个核对应一个Ref子图像块:
2. 获取变换特征
根据相似度矩阵,直接获取原图中的对应的特征子图像块:
其中需要注意的是
Network 网络结构
SRNTT 网络结构下图所示。SRNTT通过在不同尺度上进行特征挑选,从而实现了纹理增强。
结果
一些可视化的结果如下,可以看到通过纹理迁移的方式能够很好地恢复图像高频细节。并且对于规则纹理,SRNTT 复原更加准确且清晰。