读论文:Image Super-Resolution by Neural Texture Transfer

文章:https://arxiv.org/abs/1903.00834
源码:https://github.com/ZZUTK/SRNTT

1 介绍

论文主要贡献:
1.一个更普遍的RefSR问题,打破了SISR的性能障碍(即缺乏纹理细节),并放宽了现有RefSR的约束(即一致性假设)。
2.对于RefSR问题,提出了端到端深度模型SRNTT,以通过多尺度神经纹理传递恢复以任何给定参考为条件的LR图像。
3.建立了基准数据集CUFED5,以促进RefSR方法的进一步研究和性能评估,以处理与LR输入图像具有不同相似度的参考图像。

2 相关工作

1 基于深度学习的SISR
●VGG(perception loss感知损失)
●GANs(adversarial loss对抗损失)
SRNTT合并了与感知相关的约束(即感知损失和对抗损失)以恢复视觉上更合理的SR图像。

2 基于参考的超分辨率重建
●RefSR方法需要参考图像和LR图像有良好的对齐
●基于RefSR方法采用光流对齐输入和参考图像
SRNTT将Ref纹理“融合”到最终输出中,通过深层模型在多尺度特征空间中进行操作,从而可以从具有缩放,旋转甚至是非严格变形的参考图像中学习复杂的传输过程 。

3 本文方法

整体模型
1.Feature Swapping(特征交换)
Feature Swapping
算出LR的第i块特征图和Ref中的第j块特征图的相似度。(其中Ref图像需要经过相同倍数的上下采样变得模糊与LR图像匹配)
在这里插入图片描述
在这里插入图片描述等式(2)中的Ref是用来匹配的,等式(3)中的Ref是用来交换的。

2.Neural Texture Transfer(神经纹理转移)
神经纹理转移
通道级联
SR图
纹理损失函数
其中GR表示Gram矩阵, S l ∗ S^*_l Sl表示全部LR块对应的最匹配的相似度的评分。 λ l λ_l λl就是正则化系数。

3.训练目标函数
重建损失:
重建损失
感知损失:VGG
感知损失
对抗损失:WGAN-GP
对抗损失

4 数据集

CUFED5,
CUFED5提供不同的相似度等级图片,在CUFED5数据集上训练,在Sun80和Urban100数据集上测试。

5 实验结果

1.定量分析(PSNR/SSIM)
实验结果
细节图
SRNTT- l 2 l_2 l2为SRNTT的简化模型仅最小化MSE.
2.通过用户研究进行定性评估
定性
3.消融实验
参考相似度影响:
在这里插入图片描述
特征交换层:
特征交换层
纹理损失函数的影响:
纹理损失函数

6 总结

本文利用了更通用的RefSR问题,其中参考可以是任意图像。提出了SRNTT,这是一种端到端的网络结构,可以从参考中执行多级自适应纹理传输,以恢复SR图像中更合理的纹理。 进行定量和定性实验以证明SRNTT的有效性和适应性。 此外,构建了一个新的数据集CUFED5以促进RefSR方法的评估。 它还为将来的RefSR研究提供了基准。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值