Zero-Shot Image Retrieval（零样本跨模态检索）

最新推荐文章于 2025-03-07 14:11:31 发布
最新推荐文章于 2025-03-07 14:11:31 发布
阅读量5.7k 收藏 34
点赞数 7
分类专栏： 深度学习 多媒体和多模态 文章标签： zero-shot 零样本跨模态检索 CVAE GAN 跨模态
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_39388410/article/details/113736971
版权

上一篇博文简要整理了元学习和少样本学习，本篇文章重点整理几篇利用零样本学习做检索的文章。该问题的难度在于使用人类草图被用作查询以从不可见的类别中检索照片：

  • 草图和图片的跨模态域差异大。sketch只有物体的轮廓，与image相比只有很少的信息。
  • 由于不同人的绘画风格不一样，sketch的类内方差也很大。
  • 怎么适应大规模检索，适应从Unseen中检索出图片。

在这里插入图片描述
A Zero-Shot Framework for Sketch Based Image Retrieval
来自ECCV2018。主要是思想是利用生成模型来解决问题，这样做的好处是通过生成模型，可以补充一些sketch信息，从而能使模型能够学会将草图的轮廓、局部形状等特征与图像的相应特征联系起来。具体模型如上图，左边和右边是作者的两个架构CVAE和CAAE，即分别用了两类主流的生成模型做测试（VAE和GAN）。

  • CVAE是使用条件变分自编码器，即将某一个特征作为条件参与到VAE的重建，然后直接可以得到有损失 L = − D K L ( a ( z ∣ x i m g , x s k e t c h ) ∣ ∣ p ( z ∣ x s k e t c h ) ) + E [ l o g p ( x i m g ∣ z , x s k e t c h ) ] L=-D_{KL}(a(z|x_{img,x_{sketch}})||p(z|x_{sketch}))+E[log p(x_{img}|z,x_{sketch})] L=−DKL​(a(z∣ximg,xsketch​​)∣∣p(z∣xsketch​))+E[logp(ximg​∣z,xsketch​)]为了保留sketch的潜在对齐关系，加入重建loss，即图中的regularrization loss： L r e c = λ ∣ ∣ f N N ( x i m g ′ ) − x s k e t c h ∣ ∣ 2 2 L_{rec}=\lambda||f_{NN}(x'_{img})-x_{sketch}||^2_2 Lrec​=λ∣∣fNN​
最低0.47元/天 解锁文章
【零样本草图检索】Doodle to Search: Practical Zero-Shot Sketch-based Image Retrieval
x124612的博客
09-03 2138
Motivations sketch的数量和种类都很少，所以发展ZS-SBIR。而存在三个问题：sketch与image的domain gap；sketch的高度抽象；ZSL中从seen class到unseen class的语义迁移。需要合适的数据集能够包括上述挑战。 Contributions 1、发布新数据集QuickDraw-Extended。首先，数据集能模拟sketch与image之间...
【零样本草图检索】A Zero-Shot Framework for Sketch Based Image Retrieval
x124612的博客
09-01 2043
Abstract 基于草图的图像检索(SBIR)是给定手绘草图，从自然图像数据库中检索图像的任务。现有的评价方法主要关注粗粒度的检索，即检索与草图属于同一个类别的图像，而不一定具有与草图相同的形状特征。而这导致现有方法只是简单地学习如何将草图与seen class联系起来，而无法推广到unseen class。因此，本文提出zero-shot SBIR，在unseen class上评价模型性能。并...
零样本组合图像检索（Zero-Shot Composed Image Retrieval，ZS-CIR）CoTMR: Chain-of-Thought Multi-Scale Reasoning fo
最新发布
Qing__er的博客
03-07 354
4）方法：为了克服这些问题，提出了CoTMR框架，这是一种训练无关的ZS-CIR方法，结合了链式推理（Chain-of-thought，CoT）和多尺度推理。此外，考虑到现有方法仅关注全局推理，CoTMR引入了多尺度推理，通过在对象尺度上对关键元素的有无进行细粒度预测，达到更全面的推理效果。最后，研究设计了多粒度评分机制（Multi-Grained Scoring，MGS），将上述推理输出的CLIP相似度评分与候选图像结合，以实现精准检索。作者单位：Renmin University of China。
零样本图像检索：Towards Affordable Semantic Searching: Zero-shot Retrieval via Dominant Attributes
Shawn
11-14 1146
Towards Affordable Semantic Searching: Zero-shot Retrieval via Dominant Attributes， AAAI 2018 1. 概要 论文首次提出了零样本检索任务（Zero-shot Retrieval, ZSR）。 该任务中包括两种场景，一种是通过未知类别图像的主要属性信息查询实例图像(Attributes to Image, A...
《Progressive Cross-Modal Semantic Network for Zero-Shot Sketch-Based Image Retrieval》论文学习
uestc_huhu的博客
03-29 662
Abstract Zero-shot sketch-based image retrieval (ZS-SBIR)是一个特别的跨模态检索任务，涉及通过可用的手绘草图，在零次学习的设想下，去搜索自然图片。以前的方法都是设想把草图和图像特征映射到一个低纬度的公共空间，来完成高效率的搜索。并且同时，对齐和映射特征到他们的语义特征（类别级的词向量），将knowledge从seen到unseen进行迁移。然而对齐与投影是耦合的，结果，因为缺乏准确的对齐最终导致不理想的零次检索效果。为了解决上述问题，提出了一个nove
Zero-shot Composed Text-Image Retrieval
weixin_43460403的博客
04-04 2059
在本文中，我们考虑了组合图像检索 (CIR) 的问题，它旨在训练一个模型，该模型可以融合多模态信息，例如文本和图像，以准确检索与查询匹配的图像，扩展搜索能力。最近的研究表明，视觉-语言模型在大规模数据集上联合训练取得了巨大进步，我们提出了组合图像检索（CIR）任务，旨在利用图像和文本信息来检索满足用户需求的目标图像，弥补了传统图像和文本检索的不足（手动构建文本-图像三元组数据集相比于收集文本-图像对通常非常昂贵，需要大量人力）。
【零样本哈希】Attribute hashing for zero-shot image retrieval
x124612的博客
08-18 907
Motivation 1、大量新型概念出现，一方面人工标注成本高，另一方面重新训练哈希模型耗时 2、ZSH没有解决语义鸿沟问题（计算机理解的底层视觉特征和人类理解的高层语义信息的不一致）；ZSH倾向于在同质类别之间迁移监督知识（猫和狗都属于动物类），而忽视了异质类别之间的有用信息（鸟和飞机能够通过翅膀这个属性共享监督信息） 3、Attribute learning被证明能够对视觉数据很好地语义建模...
图文检索（23）：CLIP for All Things Zero-Shot Sketch-Based Image Retrieval, Fine-Grained or Not
zhuzaiyebol的博客
11-06 831
zero-shot如何解决细粒度匹配问题？（i）额外的正则化损失，以确保草图和照片之间的相对分离在各个类别中是均匀的，而黄金标准独立三重态损失并非如此（ii）巧妙的补丁改组技术，帮助在草图照片对之间建立实例级结构对应关系。
图文检索（33）：Zero-Shot Everything Sketch-Based Image Retrieval, and in Explainable Style
zhuzaiyebol的博客
12-03 1050
零样本 草图检索本文：1）一个网络解决三种类型：同类别检索，不同类别检索，跨数据集2） 解释了sketch 和 image 的匹配过程：跨模态匹配可以简化为 key local patches 的比较。i.e. 类似于词袋模型的范式三个网络组件：1）自注意力模块带有可学习的 tokenizer，能够生成 visual token 对应的是最富信息量的 local region2）交叉注意模块，计算两种模态的视觉标记之间的局部对应关系。
零样本跨模态检索（Zero-Shot Cross-Modal Retrieval）信息论哈希
h3214463785的博客
10-12 579
受信息理论学习[29]的最新进展的启发，我们开发了信息理论哈希（ITH），这是一种新的ZS-CMR模型，它可以在没有任何额外NLP模型指导的情况下从训练数据中学习构建公共汉明空间。为了保证泛化，受流行的零拍摄图像分类方法的启发[18]-[20]，来自预训练的自然语言处理（NLP）模型的类嵌入（例如，word 2 vec [21]）被用作额外的引导信号以限定公共空间。为了解决预定义的公共空间和异构数据的语义之间的潜在不兼容性，我们研究了从给定数据中构建或学习公共空间的可行性，而无需额外的NLP模型的指导。
【零样本草图检索】Semantically Tied Paired Cycle Consistency for Zero-Shot Sketch-based Image Retrieval
x124612的博客
09-02 1604
Motivations 1、zero-shot SBIR面临 significant domain gap, intra-class variability and limited knowledge about the unseen classes等问题 2、先前的方法，[1]通过对齐的sketch-image pair 来学习sketch到image的映射，使用成对的监督信息是为了增强多模态数...
【零样本草图检索】Semantic-Aware Knowledge Preservation for Zero-Shot Sketch-Based Image Retrieval
x124612的博客
09-08 1564
Motivation 1、SBIR任务的关键问题是为sketch/image两个不同的模态寻找一个共享的embedding空间，能够将每张sketch/image映射成这个特征空间中的高维向量。而Zero-Shot场景的目标是测试模型迁移知识到未知类别的能力。实验证明，现有的SBIR方法在Zero-Shot场景下的性能很不好，因为模型在source domain上过拟合，同时不能识别unseen ...
零样本哈希图像检索-近年来的小众研究方向-文献总结整理
后羿的和平鸽
03-11 1301
翻了一些帖子很少有零样本、哈希和纯图像检索相关的文献总结，近年来学者们更多是将目光放在大模型、跨模态检索等热门方向。因本人性格偏好总结整理，所以想通过论文归纳总结的方式梳理一遍零样本哈希图像检索的历年研究，锻炼自己成为一名优秀的研究者，膜拜此领域的大牛们，同时也为这个偏小众的研究方向尽自己的一份力。
【零样本哈希】Zero-shot Hashing with orthogonal projection for image retrieval
x124612的博客
08-19 660
目录MotivationContributionsMethodsExperimentsConclusions Motivation 1、传统的监督哈希方法通常要求查询数据和训练数据具有相同的分布，这意味着查询数据的类别应该出现在训练类别中。然而，随着网络数据的爆炸式增长，新概念的图像正在迅速出现，为新出现的语义类别标记足够的训练数据是昂贵的，而且当新概念出现时对哈希函数进行重新训练是不现实的。Ze...
论文浅尝 | 对比式零样本学习中的跨模态语义对齐
开放知识图谱
10-04 805
笔记整理：陈卓，浙江大学博士，研究方向为知识图谱多模态学习链接：https://arxiv.org/abs/2207.01328引言该论文设计了一种新的零样本学习范式，通过迁移语言模型中的先验语义知识，与视觉模型的特征感知能力进行对齐，以增强后者对于未见过图像的识别能力。图1：属性级对比学习零样本学习（Zero-shot learning, ZSL）旨在预测在训练期间从未出现过样本的未知类别。对于...
[2019CVPR论文笔记]Doodle to Search Practical Zero-Shot Sketch-based Image Retrieval
qq_44932092的博客
07-26 1401
摘要 文章地址：http[https://arxiv.org/pdf/1904.03451v1.pdf] 在本文中，我们研究了基于零样本的草图图像检索（ZS-SBIR）的问题，其中人类草图被用作查询以从不可见的类别中检索照片。我们通过提出一种新颖的ZS-SBIR场景来进一步推进现有技术，该场景代表了其实际应用中的一步。新设置独特地认识到实际ZS-SBIR的两个重要但经常被忽视的挑战，（1）业余草图...
跨模态检索：带你领略图文检索的魅力
热门推荐
cassiePython的专栏
08-15 1万+
跨模态检索：带你领略图文检索的魅力 引子 作为经常“百度一下”的众多网民中的一份子，我们经常使用百度，输入要搜索的关键词，来检索要想的文本信息，此时是使用文本来检索文本；有时我们又会使用百度图片检索的功能，上传图片来寻找相似的图片，此时是以图来检索图；但我们也经常使用文本来搜索相应的图片，此时我们输入信息的类型和获得的信息的类型就不同了，我们称之为“跨模态”。 简 介 来下个专业点的定义：...
**探索零样本复合图像检索的未来：SEARLE——文本反转下的创新技术**
gitblog_00023的博客
06-21 1059
探索零样本复合图像检索的未来：SEARLE——文本反转下的创新技术 去发现同类优质开源项目:https://gitcode.com/ 在当前的技术浪潮中，深度学习和人工智能正以前所未有的速度改变着我们的世界。今天，我要向大家介绍一个名为SEARLE（SEARLE: Zero-shot Composed Image Retrieval with Textual Inversion）的革命性项目，它不...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值