zero-shot learning(ZSL)语义对齐方法总结

ZSL语义对齐方法探索：从经典到现代
最新推荐文章于 2025-03-07 20:35:00 发布
原创 最新推荐文章于 2025-03-07 20:35:00 发布 · 4.4k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #深度学习

本文总结了zero-shot learning (ZSL)中的语义对齐方法，包括经典的线性对齐、贝叶斯概率模型到现代的GAN、VAE和GCN方法。探讨了视觉空间和语义空间的工程技巧，如交并补方法和图卷积网络，以及在实际应用中遇到的挑战，如特征对齐困难和属性关联问题。常用数据集包括COCO、ImageNet、AWA2等。提供相关论文和代码资源链接。

zero-shot learning(ZSL)语义对齐方法总结

语义对齐方法总结
最近在研究ZSL问题，姑且读了几篇文章，想做一个简单的总结。
主要将ZSL问题分为：

  • 经典的方法（17年之前，简常规数学方法，机器学习方法），诸如线性对齐、非线性对齐、贝叶斯概率模型、中间空间映射（通过直方图将视觉特征映射和语义空间做对齐）；
  • 现代方法：GAN、VAE方法，常用encoder-decoder模型，加强对齐效果。GAN中还常用attention机制，以及增强GAN做图像和文本数据集增强。其次，分为视觉空间工程和语义空间工程。视觉空间工程中例如用交并补的方法，将没有笼子的老虎和有笼子的老虎，用补集把笼子提取出来，用于有笼子的鸟识别。语义空间工程：一方面对语义空间进行增强划分，譬如下图：词划分
    将whale，killer_whale、dolphin、sea_lion水下动物划分为一类，增强对齐效果。另外，近两年GCN（Graph Convolutional Network）盛行，也有非凡效果。
    就目前paper，我视觉空间对齐到语义空间效果提升不明显，有的特征很难对过去。之前的方法都存在属性或类别没有关联的问题。比如一个鸟有头、羽毛、尾巴、颜色等特征，一般采用直接的浅表示方法，并没有用到之间的图特征。鸟和马有共通的头，但这两怎么能区分、怎么又算是有共性，值得思考。
    目前常用数据集：COCO，ImageNet、AWA2（AWA1不开源授权）、CUB等。

Github资源：

  • paper:
最低0.47元/天 解锁文章
枫叶--
关注
【人工智能】科普：模态间的语义对齐
若北辰
03-27 483
比如AI看图写话时，如果图片是狗却生成“这是一只鸟”，就是语义没对齐。对齐后AI才能准确理解跨模态信息（像人类一样看到猫说猫，听到笑话会笑）。你正在看一部外语电影，画面里一个人在哭（视觉模态），但字幕却写着“他好开心啊”（文本模态）。这时候你会觉得特别别扭，因为画面和文字。说到跨模态，一定避不开一个词，模态间的语义对齐，那到底什么意思呢？就是让不同模态的信息表达。
MSDN: Mutually Semantic Distillation Network for Zero-Shot Learning
weixin_45997340的博客
03-01 607
MSDN 主要贡献提出互语义蒸馏网络（MSDN），结合属性→视觉 & 视觉→属性注意力子网，提升零样本学习能力。核心创新双向语义蒸馏（Mutual Semantic Distillation）
一文搞懂多模态学习（多模态融合 + 跨模态对齐）
最新发布
m0_59164520的博客
03-07 3338
直接建立不同模态之间的对应关系，包括无监督对齐和监督对齐。无监督对齐利用数据自身特性自动发现模态间对应关系，如CCA和自编码器；监督对齐则利用标签信息指导对齐，如多模态嵌入和多任务学习模型。不直接建立对应关系，而是通过模型内部机制隐式地实现跨模态的对齐。这包括注意力对齐和语义对齐。一、注意力对齐通过注意力机制动态地生成不同模态之间的权重向量，实现跨模态信息的加权融合和对齐。
目标检测——【Transformer】Accelerating DETR Convergence via Semantic-Aligned Matching
qq_42312574的博客
09-28 2154
DEFR收敛速度太慢，如此高的训练成本【DERT在COCO训练集上要训练500个epoch才能收敛，相比之下Faster R-CNN只要12~36个epoch就可以收敛】是因为在匹配query与特征映射空间中的开销，也就是对应的交叉注意力（cross-attention）的计算过程。受到多头注意力机制的启发，它在DERT中扮演了不可或缺的角色，因为多头注意力机制中的多个head的作用就是关注图片特征的不同方面，因此增强模型的表达力。一共可以分为三个部分：语义对齐的匹配、显著点特征的匹配、信息损失的补偿。
Accelerating DETR Convergence via Semantic-Aligned Matching 笔记
AnZhiJiaShu's blog
04-25 4453
Accelerating DETR Convergence via Semantic-Aligned Matching 论文学习笔记 论文链接：https://arxiv.org/abs/2203.06883 语义对齐就是在描绘同一类别对象的两幅图像中,建立稠密的语义对应关系。语义在语音识别中指的是语音的意思，在图像领域，语义指的是图像的内容，对图片意思的理解 摘要： DETR (DEtection TRansformer) 通过消除手工组件例如anchor建立了一种新的目标检测框架。然而，DETR的收敛
对齐的方式
strokeyang
08-13 654
 字节对齐的细节和具体编译器实现相关，但一般而言，满足三个准则：1) 结构体变量的首地址能够被其最宽基本类型成员的大小所整除；2) 结构体每个成员相对于结构体首地址的偏移量都是成员大小的整数倍，如有需要编译器会在成员之间   加上填充字节；例如上面第二个结构体变量的地址空间。3) 结构体的总大小为结构体最宽基本类型成员大小的整数倍，如有需要编译器会在最末一个成员之后   加上填充字节。
腾讯&上交&浙大提出PyramidCLIP，进行层次内语义对齐和跨层次关系对齐，Zero-Shot效果优于CLIP！...
我爱计算机视觉
06-08 1338
关注公众号，发现CV技术之美本篇文章分享论文『PyramidCLIP: Hierarchical Feature Alignment for Vision-language Model Pretraining』，由腾讯&上交&浙大（沈春华）提出PyramidCLIP，进行层次内语义对齐和跨层次关系对齐，ImageNet上Zero-Shot效果优于CLIP！...
Episode-Based Prototype Generating Network for Zero-Shot Learnin
12-13
传统的ZSL任务通常假设在训练集和测试集之间存在完全的类别分割，而广义的ZSL（Generalized Zero-Shot Learning, GZSL）则更为复杂，它要求模型在同时考虑见过和未见过的类别的测试集上表现良好。在四种不同数据集上...
DUET: Cross-Modal Semantic Grounding for Contrastive Zero-Shot Learning论文阅读
GCTTTTTT的博客
01-09 1762
DUET: Cross-Modal Semantic Grounding for Contrastive Zero-Shot Learning
Zero-shot Learning 综述4
xiaohuilang6的博客
04-29 1062
6. 直推式学习（Transductive Zero-shot Learning） 所谓直推式学习，即在ZSL中，训练模型的时候，我们可以拿到测试集的数据，只是不能拿到测试集的样本的标签，因此我们可以利用测试集数据，得到一些测试集类别的先验知识。（上文中的DMaP也是直推式学习） 典型文章：Semi-supervised Vocabulary-informed Learning (SSVoc)-2016 CVPR 当前的ZSL有以下几个缺陷： ZSL 假设目标类不能分为源类（二者交集为空），反之亦然
Python-端到端的弱监督语义对齐
08-11
端到端的弱监督语义对齐
Zero Shot Learning | 零样本学习算法解析(数据与算法)
vcc12v的博客
04-14 1979
之前在看故障诊断论文中，偶尔看到了关于零样本学习(Zero Shot Learning)的内容，一直就对零样本学习这个主题很感兴趣。然而，一直对零样本的数据设置与相关算法感到一知半解，直到最近看到了Liangjun_Feng(CSDN)大佬的博客，结合Relational Knowledge Transfer for Zero-Shot Learning论文，以及Liangjun_Feng复现的代码，才算初探了零样本学习的门径。因此，发表这一篇CSDN博客。
细粒度语义对齐
Mars_prime的博客
12-23 2372
大规模的视觉语言预训练在广泛的下游任务中显示出令人印象深刻的进展。现有方法主要通过图像和文本的全局表示的相似性或对图像和文本特征的高级跨模态关注来模拟跨模态对齐。然而，他们未能明确学习视觉区域和文本短语之间的细粒度语义对齐，因为只有全局图像-文本对齐信息可用。在本文中，我们介绍放大镜，一个细粒度语义的Ligned visiOn-langUage PrE 训练框架，从博弈论交互的新视角学习细粒度语义对齐。为了有效地计算博弈论交互作用，我们进一步提出了一种不确定性感知神经Shapley交互学习模块。实验表明，L
语义对齐&事实虚假性
Hekena的博客
02-23 887
2], [3]，但目前基于对比的方法的中间层表示遭受了更低的分辨能力，这对于需要。
联邦学习阅读笔记（五）——语义库对齐问题
邱邱的物联网成长之路
08-07 1482
由于数据隐私限制，多个中心之间的数据共享受到限制，这就影响了联邦学习架构下多中心合作开发高性能深度学习模型的效果。持续学习（Continual Learning）作为点对点联合学习的一种方法，可以通过共享中间模型而不是训练数据来绕过数据隐私的限制，从而促进多中心协作开发深度学习算法。
一文读懂特征对齐：多模态世界的“月老红线”
weixin_73373302的博客
01-21 5356
好啦，到这儿咱们就把特征对齐这玩意儿整明白了。它就像一个超级媒人，在多模态数据的世界里忙得不亦乐乎，让不同模态的数据“手拉手”，一起为人工智能的发展添砖加瓦。现在，大家可以着手预训练&SFT一个多模态大模型，多多动手尝试大有脾益！
Understanding zero-shot learning via generative modeling (GAN\VAE\FLOW)
weixin_39589871的博客
12-02 157
理解零样本-小样本学习 https://dy.163.com/article/FLM7TLQQ0511DPVD.html Invertible Zero-Shot Recognition Flows (ECCV, 2020)
联合语义对齐散列论文翻译+笔记
alokag的博客
07-10 498
有监督的跨模态图文散列在理解数据搜索任务的视觉和语言之间的对应关系方面引起了广泛关注。现有的方法通过利用给定的图像-文本数据对或要探索的监督信息，但这些方法仍然遇到了一些显然的缺陷：解决上面的问题，作者提出了一种更新的有监督的散列方法，即离散联合语义对齐散列（DJSAH） 通俗讲是在语义间建立一个连接（又称类标签或成对相似性），因此有很高判别性的语义可被保存为散列代码的形式。...
图像标注：图像文本语义对齐
yang_live的博客
07-13 6529
1）没有标签的图像语义如何提取 2）端到端的对齐过程如何构建，具体损失函数是什么 3）attention如何加入，双端反馈如何建立联系，attention训练过程的损失函数是什么 1: Karpathy A, Fei-Fei L. Deep Visual-Semantic Alignments for Generating Image Descriptions. IEEE Trans Pattern Anal Mach Intell. 2017 Apr;39(4):664-676. 面向图像自动语句标注的
语义对齐减小零样本学习偏差：新算法SABR提升性能
语义对齐偏差减少零镜头学习（Zero-Shot Learning，简称ZSL）是一种新兴的计算机视觉技术，它试图解决在缺乏标记数据的情况下识别新类别（不可见类）的问题。传统的ZSL方法依赖于可见类与不可见类之间的语义关系，但...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值