基于特征的对抗迁移学习论文_CVPR2019论文解读 | 基于多级神经纹理迁移的图像超分辨方法 (Adobe Research)...

基于多级神经纹理迁移的图像超分辨方法

超分辨（Super-Resolution）图像恢复旨在从低分辨模糊图像中恢复出高分辨的清晰图像，是计算机视觉中的一个重要任务，在工业界有非常强的应用前景。CVPR是图像超分辨研究的集中地之一，光今年录用的超分辨及相关研究方向的论文就不下10篇。本文解读其中一篇由Adobe研究院为一作发表的超分辨研究方向的论文。可通过 1)原文arXiv链接 2)项目主页 3)代码github仓库 获取论文相关资源。

本文目录如下:
1.全文概览
2.方法介绍
—— 2.1 特征替换
—— 2.2 纹理迁移
—— 2.3 损失函数
3.实验分析
—— 3.1 综合对比
—— 3.2 图片相似度对性能的影响
—— 3.3 级别数量对性能的影响
—— 3.4 纹理损失函数对性能的影响
4.总结

1.全文概览

经典的单图超分辨技术(SISR)的发展因为低分辨图片固有的信息丢失特点而变得极具挑战，新兴的基于参考图片的超分辨技术(RefSR)可以在参考图片的帮助下恢复出高分辨图片的更多细节，为超分辨恢复技术的研究打开了一扇新的大门。然而现有的RefSR方法要求参考图片与低分辨图片有较高的相似性，当参考图片与低分辨图片差别较大时超分辨恢复的效果会严重下降，甚至不如无参考的SISR方法。
该文旨在通过放宽对参考图片的相似性限制来释放RefSR技术的潜力，用一种更加鲁棒的方式更有效地利用参考图片的纹理细节。受近期图像风格化工作的启发，作者将RefSR表述为神经纹理迁移问题并设计了一个端到端的深度模型SRNTT,该模型可以根据纹理相似性自适应地从参考图片迁移纹理来丰富高分辨图像的细节。相较于之前的工作，SRNTT的一大重要贡献是其纹理相似度计算不再基于原始的像素点，而是基于多层级的图像特征。这种从像素级匹配到多语义层级匹配的升级使模型变得鲁棒，以致于在参考图片与输入图片完全不相关的情况下，有参考的超分辨技术RefSR也能至少发挥出无参考的超分辨技术SISR的一般水平，而不是更差。
为了促进RefSR的研究，作者建立了一个新的基准数据集CUFED5，数据集中的每张图片都配备了不同相似度级别的参考图片。作者在包括CUFED5在内的3个数据集上对SRNTT和众多先进的超分辨方法进行了相同的定量评估和定性评估实验，实验结果显示无论是PSNR/SSIM指标还是人类视觉观感调查，SRNTT都表现出了超越其他模型的优越性，尤其是在人类视觉观感调查上，SRNTT以超过90%调查者的认可度碾压所有对比方法。