CVPR2020（TTSR纹理迁移）Learning Texture Transformer Network for Image Super-Resolution

最新推荐文章于 2024-09-15 07:19:04 发布
最新推荐文章于 2024-09-15 07:19:04 发布
阅读量2.8k 收藏 12
点赞数 1
分类专栏： CVPR2023及之前超分辨率文章解读，持续更新
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20777119/article/details/107100359
版权
TTSR利用可学习的纹理提取器和注意力机制，从参考图像中迁移相关纹理，提高超分辨率结果的精确度和视觉效果。通过引入跨尺度特征集成模块，改善了传统方法的局限性，展示了纹理迁移在图像生成任务中的潜力。
摘要由CSDN通过智能技术生成

文章地址：https://arxiv.org/pdf/2006.04139.pdf

项目地址：https://github.com/researchmm/TTSR

相关解读：https://mp.weixin.qq.com/s/nPPbHHJmIc5amyKwJlCsUQ

存在的问题：

1、怎么样就能体现出是纹理迁移呢，文中只是用到了参考图像Ref，但是不能说用到了Ref就是纹理迁移吧。

2、参考图像能不能进行改进，因为在现实的过程中，我们往往连参考图像都无法得到。

 

与先前盲猜图片细节的方法不同，我们引入一张高分辨率参考图像来指引整个超分辨率过程。高分辨率参考图像的引入，将图像超分辨率问题由较为困难的纹理恢复/生成转化为了相对简单的纹理搜索与迁移，使得超分辨率结果在指标以及视觉效果上有了显著的提升。

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
芝麻开花666
关注
专栏目录
订阅专栏
（cvpr2020）Learning texture transformer network for image super-resolution论文阅读
qq_40107571的博客
07-19 452
这种设计实现了LR图像和参考图像联合特征嵌入，这样方便了后续的后续注意力机制的应用。具体的讲，我们将LR和参考图像提取的特征作为query和key，获得硬注意图和软注意图。最后，提出了应注意里模块和软注意力模块，用于将参考图像中的HR特征转移和融合到通过注意力图提取的LR特征中。TTSR中包含四个部分，包含了一个可学习纹理提取器、相关性嵌入模块、用于纹理传输的硬注意模块、用于纹理合成的软注意模块。这样的设计鼓励跨LR和参考图像联合特征学习，其中深层特征可以通过注意力机制发现，因此可以很好的传递纹理特征。..
CVPR2020:Learning Texture Transformer Network for Image Super-Resolution解读
hbw136的博客
02-28 1461
论文： Title：Learning Texture Transformer Network for Image Super-Resolution（用于图像超分辨率的学习纹理transformer网络） Writers：Fuzhi Yang , Huan Yang, Jianlong Fu, Hongtao Lu , Baining Guo Conference：cvpr 2020 作者单位：Department of Computer Science and Engineering, MoE Key La
Learning Texture Transformer Network for Image Super-resolution 论文解读
大神月磨的博客
06-16 5028
论文地址：https://arxiv.org/pdf/2006.04139.pdf 项目地址： https://github.com/FuzhiYang/TTSR 总述：为了恢复图像超分辨率结果的纹理信息，本文提出一种的TTSR的RefSR的方法。该TTSR包含四个关系紧密的模块：可学习的纹理提取模块，关联嵌入模块，用于纹理迁移的硬-注意力模块和用于纹理合成的软-注意力模块。此外，该方法可以通过跨尺度的堆叠方式，获得更好的实验结果。 介绍 现如今，图像超分的方法主要分为两类，一类是单图像超分(SISR)
Learning Texture Transformer Network for Image Super-Resolution（CVPR2020）
weixin_44678648的博客
02-25 1703
文章目录摘要一、Introduction二、Related Work1.单图像超分辨率2.基于参考的图像超分辨率三、Approach1. 纹理转换器 摘要 我们研究图像超分辨率（SR），旨在从低分辨率（LR）图像中恢复逼真的纹理。最近通过以高分辨率图像作为参考（Ref）取得了进展，以便可以将相关纹理转移到 LR 图像。然而，现有的 SR 方法忽略了使用注意力机制从 Ref 图像中传输高分辨率 (HR) 纹理，这在具有挑战性的情况下限制了这些方法。在本文中，我们提出了一种新颖的用于图像超分辨率 (TTSR
TTSR：引领图像超分辨率新潮流的开源利器
最新发布
gitblog_00392的博客
09-15 650
TTSR：引领图像超分辨率新潮流的开源利器 TTSR 项目地址: https://gitcode.com/gh_mirrors/tts/TTSR 项目介绍 TTSR（Tex...
（TTSR）Learning Texture Transformer Network for Image Super-Resolution
热门推荐
MOL
06-22 1万+
万物皆可 Transformer：基于纹理 Transformer 模型的图像超分辨率技术 Transformer 结构被广泛应用于自然语言处理任务，取得了显著的成果，然而其在图像生成领域中鲜有应用。针对于图像超分辨率问题，微软亚洲研究院创新性地提出了一种基于纹理 Transformer 模型的图像超分辩率方法（TTSR），取得了显著的效果。该模型可以有效地搜索与迁移高清的纹理信息，最大程度地利用了参考图像的信息，并正确地将高清纹理迁移到生成的超分辨率结果当中，解决纹理模糊和纹理失真的问题。 纹理...
超分算法TTSR：Learning Texture Transformer Network for Image Super-Resolution 基于参考图像Ref的超分辨率重建
qq_45122568的博客
05-07 4111
这篇文章TTSR应该是第一次将transformer引入到超分任务中，且是基于参考图像的超分重建RefSR，文章发表在CVPR2020。基于参考图像的超分不同于单图像超分，更注重于图像细节的还原，通过迁移参考图像中的相似纹理来还原HR图像。基于参考图像的超分文章并不多，这种方法的局限性比较大。TTSR是基于SRNTT这篇文章进行了改进，加入注意力机制，能选择更相似的纹理来完成SR图像恢复。 原文链接：TTSR：Learning Texture Transformer Network for Image S.
TTSR:Learning Texture Transformer Network for Image Super-Resolution
sinat_34546154的博客
12-12 712
PDF：Learning Texture Transformer Network for Image Super-Resolution 代码：github:https://github.com/researchmm/TTSR CVPR2020的一篇文章 目录MotivationProposed Method1.Texture Transformer Motivation 这是一篇基于参考图像的SR方法（RefSR），除了LR-HR对之外，引入HR参考图像。 基于L1损失的SISR方法产生的结果比较模糊，.
Learning Texture Transformer Network for Image Super-Resolution（全译文+大量名词链接）读论文记录①
m0_47639800的博客
03-16 1513
摘要 本文参考的文章，建议阅读 附录 超分辨率技术（Super-Resolution, SR）是指从观测到的低分辨率图像重建出相应的高分辨率图像，在监控设备、卫星图像和医学影像等领域都有重要的应用价值。超分辨率技术 注意力机制（attention mechamism）：神经网络中的注意力机制（Attention Mechanism）是在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案。注意力机制详细概述 摘要 SR：超分辨率，LR：低分辨率，HR：高分辨率，Ref：
【图像超分辨率】Learning Texture Transformer Network for Image Super-Resolution
qq_41807261的博客
04-14 1649
论文地址：http://openaccess.thecvf.com/content_CVPR_2020/papers/Yang_Learning_Texture_Transformer_Network_for_Image_Super-Resolution_CVPR_2020_paper.pdf Learning Texture Transformer Network for Image Super-Resolution摘要1 简介2 相关工作3 本文方法3.1 Texture Transformer可学习的
【论文阅读】Learning Texture Transformer Network for Image Super-Resolution
博客
05-04 1340
我们研究了图像超分辨率 (SR)，旨在从低分辨率 (LR) 图像中恢复逼真的纹理。最近的进展是将高分辨率图像作为参考（Ref），从而可以将相关纹理转移到 LR 图像。然而，现有的 SR 方法忽略了使用注意力机制从参考图像传输高分辨率 (HR) 纹理，这在具有挑战性的情况下限制了这些方法。在本文中，我们提出了一种用于图像超分辨率 (TTSR) 的新型纹理变换器网络，其中 LR 和 Ref 图像分别被表述为变换器中的查询和键。
TTSR:[CVPR'20] TTSR
03-19
TTSR PyTorch正式实现了CVPR 2020中接受的的论文。 内容 介绍 我们为RefSR任务提出了一种名为TTSR的方法。与SISR相比，RefSR具有超高分辨率的参考图像，其纹理可用于帮助超分辨低分辨率输入。 贡献 我们是最早将变压器架构引入图像生成任务的公司之一。更具体地说，我们提出了一种具有四个与图像SR密切相关的模块的纹理转换器，与SOTA方法相比，该模块实现了重大改进。 我们为图像生成任务提出了一种新颖的跨尺度特征集成模块，该模块使我们的方法能够通过堆叠多个纹理转换器来学习更强大的特征表示。 方法概述 主要结果 要求和依赖性 python 3.7（建议使用 ） python软件包： pip install opencv-python imageio 火炬> = 1.1.0 火炬视觉> = 0.4.0 模型 可以从 ，（0u6i）， 下载预训练的模型。 TTSR-r
【论文精读】Learning Texture Transformer Network for Image Super-Resolution
weixin_42780429的博客
03-10 783
出处 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) 贡献 网络结构 损失函数
TTSR（Learning Texture Transformer Network for Image Super-Resolution）论文及代码
神思X學海無涯
11-14 5710
文章目录前言一、Transformer二、Approach1.Texture Transformer( TT)2.Cross-Scale Feature Integration（CSFI）3.Loss Function总结 前言 主要记录个人对TTSR论文和代码的阅读，水平有限，欢迎指正 论文——TTSRCVPR2020 代码——CODE 领域——超分辨率 关键点——Reference-based Image Super-Resolution,Transfromer 相关解读——https://mp..
Learning Texture Transformer Network for Image Super-Resolution论文解读-参考图像超分重建
the步履不停shy的博客
10-26 1491
最近阅读了一篇参考图像超分重建的论文，这是微软研究院在CVPR2020的一篇论文，主要讨论了借助参考图像完成超分重建的任务。通过学习参考图像的纹理特征，从而恢复低分辨率图像的纹理信息，实现图像超分重建的任务。 Intruction 图像超分重建的目的是从低分辨率图像恢复高分辨率图像所对应的自然以及真实的纹理。近年来，图像超分在众多领域有所应用。相关研究通常两个方面进行，包括单图超分重建（SISR）、基于参考的图像超分重建（RefSR）。而SISR本身受限于高分辨率纹理在退化过程中被过度破坏而无法恢复，所以可
Learning Texture Transformer Network for Image Super-Resolution阅读笔记
weixin_43540533的博客
05-06 550
Learning Texture Transformer Network for Image Super-Resolution阅读笔记 Abstract 图像超分辨率，目的从低分辨率图像中恢复出逼真的纹理。现有方法忽略了使用注意力机制来恢复高分辨率纹理，因此，我们提出一个新的图像超分辨率纹理转换网络，其中LR和Ref图像被作为transformer中的queries和keys。 TTSR由四个紧密相关的模块组成，这些模块针对图像生成任务进行了优化，包括一个由DNN设计的可学习纹理提取器、一个相关性嵌入模块、
CVPR 2020丨图像超清化Texture Transformer Network for Image Super-Resolution（TTSR）
dididi的博客
06-22 3069
图像超清化论文链接SR背景SRCNNTTSR网络结构 论文链接 Learning Texture Transformer Network for Image Super-Resolution 提取码：vo57 SR表示的就是Super-Resolution，是指通过软件或硬件的方法，从观测到的低分辨率图像重建出相应的高分辨率图像。 先上图，直观点看效果图。 目标框 RDN RCAN RSRGAN 示例图 CrossNet SRNTT TTSR（本文用例） 分别代表8张图片/组的清晰化效果
超分论文笔记之纹理迁移2019-2020CVPR：Image SRby Neural Texture Transfer -Learning Texture Transformer Network
eight_Jessen的博客
09-04 1457
1. Image Super-Resolution by Neural Texture Transfer 代码地址 1.1 总结 使用RefS方法，当参考图像很相似时，超分的结果还不错。但是参考图像对超分结果影响很大，特别是当参考图像相似性比较低时，效果不佳。作者通过纹理细节，根据纹理相似性做超分的方法，让RefSR方法受参考图像的相似性影响比较少。相比以往在输入做match,作者在多个level做match,利用多尺度神经迁移，模型能够从具有语义相关性的Ref patches获益更多，在输入的ref im
CVPR 2018：一种交互式纹理迁移通用框架
weixin_33700350的博客
10-19 517
雷锋网(公众号：雷锋网) AI 科技评论按：本文是北京大学门怡芳基于其 CVPR spotlight 论文为 AI 科技评论提供的独家稿件，未经许可不得转载。论文信息：A Common Framework for Interactive Texture Transfer 引言 纹理迁移技术作为计算机视觉和图形学领域的一个研究热点，能够将样图中的...
cvpr 2019之迁移学习:contrastive adaptation network for unsupervised domain a
01-28
CVPR 2019中发表了一篇题为“迁移学习:无监督领域自适应的对比适应网络（Contrastive Adaptation Network for Unsupervised Domain Adaptation）”的论文。这篇论文主要介绍了一种用于无监督领域自适应的对比适应网络。 迁移学习是指将从一个源领域学到的知识应用到一个目标领域的任务中。在无监督领域自适应中，源领域和目标领域的标签信息是不可用的，因此算法需要通过从源领域到目标领域的无监督样本对齐来实现知识迁移。 该论文提出的对比适应网络（Contrastive Adaptation Network，CAN）的目标是通过优化源领域上的特征表示，使其能够适应目标领域的特征分布。CAN的关键思想是通过对比损失来对源领域和目标领域的特征进行匹配。 具体地说，CAN首先通过一个共享的特征提取器来提取源领域和目标领域的特征表示。然后，通过对比损失函数来测量源领域和目标领域的特征之间的差异。对比损失函数的目标是使源领域和目标领域的特征在特定的度量空间中更加接近。最后，CAN通过最小化对比损失来优化特征提取器，以使源领域的特征能够适应目标领域。 该论文还对CAN进行了实验验证。实验结果表明，与其他无监督领域自适应方法相比，CAN在多个图像分类任务上取得了更好的性能，证明了其有效性和优越性。 综上所述，这篇CVPR 2019论文介绍了一种用于无监督领域自适应的对比适应网络，通过对源领域和目标领域的特征进行对比学习，使得源领域的特征能够适应目标领域。该方法在实验中展现了较好的性能，有望在无监督领域自适应任务中发挥重要作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

芝麻开花666

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值