Training Vision Transformers for Image Retrieval

最新推荐文章于 2023-05-04 10:55:44 发布
最新推荐文章于 2023-05-04 10:55:44 发布
阅读量1.3k 收藏 3
点赞数 1
分类专栏： 计算机视觉论文速递 Transformer 图像检索 文章标签： 算法 人工智能 机器学习 深度学习 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/amusi1994/article/details/113838648
版权
研究发现Transformer在图像检索任务上展现出超越基于卷积方法的显著优势，特别是在Stanford Online Product, In-Shop和CUB-200等基准上的类级别检索。通过结合对比损失与差分熵正则化器的度量学习目标训练，该方法在ROxford和RParis的特定对象检索中也表现出竞争力，特别是在短矢量表示和低分辨率图像场景下。" 98600635,7694668,Pandas 数据操作完全指南,"['数据分析', 'Python库', 'Pandas', '数据处理']
摘要由CSDN通过智能技术生成

表现SOTA！性能优于ProxyNCA++、XBM等网络，结果表明，与基于卷积的方法相比，transformer具有一致且显著的改进！

Transformer杀疯了！近期又有一波视觉Transformer的工作（大都来自大厂和Top高校）。

注2：整理不易，欢迎点赞，支持分享！

Training Vision Transformers for Image Retrieval
在这里插入图片描述

  • 作者单位：Facebook, ENS/Inria
  • 论文：https://arxiv.org/abs/2102.05644

Transformers在自然语言理解以及最近的图像分类方面显示出了杰出的成果。

我们在这里扩展这项工作，并提出一种基于Transformer的图像检索方法：我们采用视觉transformer来生成图像描述符，并以度量学习目标训练结果模型，该度量学习目标将对比损失与差分熵正则化器相结合。
在这里插入图片描述

算法细节（建议去看原文）
在这里插入图片描述

最低0.47元/天 解锁文章
Amusi（CVer）
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Facebook提出：基于视觉Transformer的图像检索
阿木寺的博客
02-17 1374
表现SOTA！性能优于ProxyNCA++、XBM等网络，结果表明，与基于卷积的方法相比，transformer具有一致且显著的改进！ Transformer杀疯了！近期又有一波视觉Transformer的工作（大都来自大厂和Top高校）。 注2：整理不易，欢迎点赞，支持分享！ Training Vision Transformers for Image Retrieval 作者单位：Facebook, ENS/Inria 论文：https://arxiv.org/abs/2102.05644 Tra
2021 ICCV : Instance-level Image Retrieval using Reranking Transformers
青儿的博客
03-31 1775
Abstract 实例级图像检索是在大型数据库中搜索与查询图像中的对象匹配的图像的任务。为了完成这项任务，系统通常依赖于使用全局图像描述符的检索步骤，以及通过利用诸如基于局部特征的几何验证之类的操作来执行特定于域的细化或重新排序的后续步骤。在这项工作中，我们提出了一个通用的模型，将局部和全局特征结合起来，以监督的方式重新排列匹配图像，从而取代了相对昂贵的几何验证过程。rrt是轻量级的，并且可以很容易地并行化，这样就可以在一次向前传递中重新排列一组顶级匹配结果。我们在重新访问的牛津和巴黎数据集以及Google
transform用于图像检索
持之以恒
10-10 298
google地标检索比赛，已经有人引入transform!!!并且取得第一名的好成绩 code() 第一名竞赛方案：https://www.kaggle.com/c/landmark-recognition-2021/discussion/277098 论文链接：https://github.com/ChristofHenkel/kaggle-landmark-2021-1st-place/blob/main/GLR_2021_1st_place.pdf 代码：https://github.com/Chr
Transformer image recongnition
h201601060805的博客
05-27 476
摘要 虽然Transformer架构已经成为自然语言处理任务的事实标准，但它在计算机视觉方面的应用仍然有限。在视觉上，注意力要么与卷积网络结合使用，要么用于替换卷积网络的某些组件，同时保持它们的整体结构不变。我们表明，这种对神经网络的依赖是不必要的，直接应用于图像块序列的纯转换器可以很好地执行图像分类任务。当对大量数据进行预先培训并转移到多个中型或小型图像识别基准(ImageNet、CIFAR-100、VTAB等)时。)，与最先进的卷积网络相比，视觉转换器(ViT)获得了出色的结果，同时需要更少的计算资源来
VisualSparta：首个基于Transformer的大规模文本到图像检索
阿木寺的博客
02-17 857
表现SOTA！在准确性和效率上都显著提高，可对大规模数据集进行实时搜索，性能优于CVSE、PFAN等网络。 注1：文末附【Transformer】流群 注2：整理不易，欢迎点赞，支持分享！ VisualSparta: Sparse Transformer Fragment-level Matching for Large-scale Text-to-Image Search 作者单位：CMU, SOCO(美国公司) 论文：https://arxiv.org/abs/2101.00265 文本到图像的检索
DiffiT- Diffusion Vision Transformers for Image Generation
03-26
### DiffiT: Diffusion Vision Transformers for Image Generation #### 摘要 《DiffiT: Diffusion Vision Transformers for Image Generation》是一篇由Ali Hatamizadeh、Jiaming Song、Guilin Liu、Jan Kautz和...
Transformers for Natural Language Processing.pdf
11-12
《Transformers for Natural Language Processing》是一本深入探讨自然语言处理（NLP）领域的专著，主要聚焦于Transformer架构，这是由Google等领先科技公司引入的一种革新性深度学习模型。本书旨在教你如何使用...
Transformers for Machine Learning A Deep Dive
最新发布
07-04
Transformers for Machine Learning A Deep Dive
convolution-vision-transformers:CvT的PyTorch实现
04-01
size ()) for p in parameters ]) / 1_000_000 print ( 'Trainable Parameters: %.3fM' % parameters ) out = model ( img ) print ( "Shape of out :" , out . shape ) # [B, num_classes] 引
BEiT: BERT Pre-Training of Image Transformers PPT
08-18
BEiT: BERT Pre-Training of Image Transformers PPT BEiT 是一种基于Transformer的自监督式图像预训练模型，它的提出标志着计算机视觉（CV）领域的BERT时刻的到来。BEiT 模型通过Masked Image Modeling任务，对...
Multiscale Vision Transformers
weixin_44296846的博客
10-20 1548
我们将多尺度特征层次的基本思想与transformer模型相结合，提出了用于视频和图像识别的多尺度vision transformer（MViT）。多尺度transformer有一系列的通道分辨率尺度级别。这些阶段从输入分辨率和较小的通道维度开始，在降低空间分辨率的同时，逐级增加通道容量。这创建了一个多尺度的特征金字塔，浅层在高空间分辨率下运行，以建模简单的低级视觉信息，而更深的层在粗糙空间下运行，但建模复杂的高级特征。
[Transformer]MViTv1:Multiscale Vision Transformers
qq_37151108的博客
12-13 3670
MViT:Multiscale Vision Transformers
AbstractSection I IntroductionSection II Related WorkSection III Multiscale Vision TransformerPart 1 Multi Head Pooling AttentionPart 2 Multi-scale Transformer NetworksPart 3 网络实例化细节Section IV Experiments:Video Recogniti
视觉Transformer (五) Thinking Fast and Slow: Efficient Text-to-Visual Retrieval with Transformers
BearLeer的博客
06-25 938
文章来源 paper: https://arxiv.org/abs/2103.16553 Motivation 目标是基于语言的大规模图像和视频数据集的搜索。即给定某个语句，从大量图像检索库中找到与该语句描述最相似的图像。 对于这个任务，采用单独将文本和视觉映射到联合嵌入空间的方法，即对偶编码器，可以应用到较大的检索规模数据中，其采用了近似最近邻搜索的方法。另一种使用交叉注意的视觉-文本转换器的方法可以显著提高联合嵌入的准确性，但由于测试时每个样本所需的交叉注意机制的计算成本价高，这种方法在实践中通常不适用
Gavin老师Transformer直播课感悟 - 基于Transformer的Rasa之Retrieval Model剖析(一)
m0_49380401的博客
12-24 751
一、概述 本文围绕工业级业务对话平台和框架Rasa来介绍其内部机制。基于最新的3.x版本提出用一个图来统一所有组件的概念，无论是语言理解（NLU），还是语言处理，语言生成等都是这个图中的组件，从而模糊了NLP不同组件之间的界限。这些组件之间存在依赖关系，也会有通信和相互交互，如下面图中，DIET分类器需要依赖特征提取器(CountVectorFeaturizer)，而特征提取器需要依赖Tokenizer，左侧蓝色背景框的部分是NLU，包括intents，entities和slots，对它们...
CV之IR：计算机视觉之图像检索(Image Retrieval)方向的简介、使用方法、案例应用之详细攻略
热门推荐
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
04-22 1万+
CV之IR：计算机视觉之图像检索(Image Retrieval)方向的简介、使用方法、案例应用之详细攻略 目录 图像检索(Image Retrieval)方向的简介 图像检索(Image Retrieval)方向的使用方法 图像检索(Image Retrieval)方向的案例应用 图像检索(Image Retrieval)方向的简介 后期更新…… ...
Gavin老师Transformer直播课感悟 - 基于Retrieval的具有Fine-grained架构的对话系统(四）
m0_49380401的博客
12-12 1303
本文继续围绕基于Retrieval的具有Fine-grained架构的对话系统这篇论文来进一步分析关于BERT-FP(即BERT Fine-grained Post-training的缩写)模型在各种试验条件下的表现及背后的机制。 5. 进一步分析 5.1 基于不同长度的”short context”的训练表现 通常情况下，对于一个对话session中的一个response来说，与这个response相近的utterances之间的连贯性会更强，而与这个response...
Gavin老师Transformer直播课感悟 - 基于Retrieval的Fine-grained架构的对话系统
m0_49380401的博客
12-08 750
一、概述 本文围绕下面这篇论文从多个角度来解析如何构建出具有”Fine-grained”架构的，面向任务的对话系统。 基于”Retrieval”的对话系统在使用如BERT这样的基于Transformer的预训练模型时，显示出很好的表现。所谓”Fine-grained”，就是对整个对话(dialogue)的长上下文进行拆分，以便于可以更精细化地控制对话，具体来讲，可以把下图中左边标签[context]显示的一个长上下文拆分为几个更短的上下文(Short Context)...
【计算机视觉】Visual Transformer （ViT）模型结构以及原理解析
wzk4869的博客
05-04 7452
【计算机视觉】Visual Transformer （ViT）模型结构以及原理解析
Vision Transformer（ViT）
null的专栏
02-26 4003
ViT模型将Transformer引入到图像的分类中，更准确的说是Transformer中的Encoder模块。为了能够尽可能少地对原始模型的修改，在ViT中将图像转换成一维的序列表示，以改成标准的文本形式，通过这种方式实现Transformer在CV中的应用。
"CaiT: Training Vision Transformers with Input Performer
09-14
"CaiT: Training Vision Transformers with Input Performer"是一篇关于使用Input Performer训练视觉Transformer模型的论文。这篇论文旨在通过使用Input Performer来改进Vision Transformer（ViT）模型的训练过程，以提高模型的收敛速度和精度。 Input Performer是一个用于生成模型输入的方法，它通过引入随机扰动来增加输入的多样性。具体而言，在训练过程中，Input Performer会对输入图像进行随机的空间变换，例如旋转、平移和缩放。这样可以使模型在处理具有不同变体的图像时更具鲁棒性，并且可以帮助模型更好地泛化到新的样本上。 通过使用Input Performer，作者发现在训练Vision Transformer模型时可以获得更好的结果。在实验中，他们发现使用Input Performer可以使模型在不同的数据集上取得更高的精度，并且在相同的训练迭代次数下，模型的收敛速度也更快。 总结起来，"CaiT: Training Vision Transformers with Input Performer"这篇论文提出了一种使用Input Performer来改进Vision Transformer模型训练的方法。通过引入随机扰动，它可以增加输入的多样性，提高模型的鲁棒性和泛化能力，从而在训练过程中获得更好的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值