Contrastive Embedding for Generalized Zero-Shot Learning＜2021CVPR阅读笔记＞

最新推荐文章于 2023-11-13 16:40:55 发布
最新推荐文章于 2023-11-13 16:40:55 发布
阅读量1k 收藏 4
点赞数 3
分类专栏： zero-shot 文章标签： 深度学习 cv
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46025283/article/details/120633123
版权
本文介绍了2021年CVPR会议上的一篇论文，该论文探讨了如何通过对比嵌入改进传统零次学习（ZSL）方法，尤其是针对广义零次学习（GZSL）。论文提出了一种混合GZSL框架，结合实例级和类级对比嵌入，以减少对见过类别的依赖，提高未见过类别的识别能力。通过特征生成和对比学习策略，模型能更好地学习到区分性的特征，从而在原始特征空间和嵌入空间中实现有效分类。
摘要由CSDN通过智能技术生成

论文出处：Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), 2021

目录

背景 

混合GZSL框架

对比嵌入

实例级对比嵌入

类级对比嵌入

背景 

        这篇论文出自2021年CVPR，这篇论文在传统ZSL的基础上进行了改进，个人觉得还是有很多值得学习的地方。

        首先，归纳总结一下，传统的ZSL的做法是学习一个语义嵌入函数，即将视觉特征映射到语义描述空间。然后，在改语义描述空间上，将嵌入的数据点与给定的类及层次语义描述符进行比较(比较他们的分布即可，嵌入的数据点离哪个语义描述符近，就属于什么类别)，进而完成分类。这一整个分类操作过程，都是基于这一个语义嵌入空间完成。

        解释：类级语义描述符，例如，加菲猫，那么它的描述符有：橘黄色毛发、四条腿、白胡须等...

        现在大多数人研究的ZSL都是广义零次学习即(GZSL)，相比与传统的ZSL，最大的区别在于其测试集中的图片是否在训练集中出现过。传统的ZSL，它的测试集完全是训练集中未出现过的样本。然而这样训练出来的模型在现实中的应用不够广泛，好的模型应该是既能够很好的识别训练期间出现过的类别样本，同时也能识别未在训练期间出现过的类别样本。后者便被称之为GZSL(广义零次学习)。

        针对GZSL，存在的一大挑战，由于测试阶段要考虑seen类图片，那么它会更加关注seen类图片，这主要是因为unseen类别未参与训练，模型对其视觉特征不敏感，不容易发掘其显著特征信息，这便是unseen类别图片分类出现错误的主要原因。(同时，还有一部分的解释是，模型对seen类别图片的训练已经是过拟合的，这也会导致其对unseen类图片不敏感。)

        克服这种常见的bias问题的方法有：方法一，为了解决上述提出的过拟合问题，通过设计新的损失函数来平衡unseen类和seen类之间的预测；方法二，提出特征生成的方式，合成unseen类别的图像样本参与训练过程，该方法可以克服unseen训练样本不足问题。[在原始特征空间上生成unseen类别特征]，然后当作普通的分类问题进行处理。值得注意的是传统的ZSL都是在语义空间上进行分类，而该方法是在普通的特征空间上进行分类，这种方法的好处在于，图像相比文本携带 更多的显著信息。

        方法二直击痛点，因为缺乏unseen类别的视觉特征导致模型对unseen类样本不敏感，那我们就先将它的视觉特征合成出来参与训练，那么我们的模型就能够实现分类。看到这的时候，就觉得这也太机智了吧。这种特征生成的方法也是近几年ZSL的趋势走向。

        

回归本篇论文，它也是一种特征生成的方法。同时，作者还提出了一个很少被人关注到的实例监督

最低0.47元/天 解锁文章
hzm861569109
关注
  • 3
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
无关于目标or特定于目标：简单且有效的零样本立场检测对比学习方法
Paper weekly
02-15 1874
©PaperWeekly 原创 ·作者 |梁斌、陈子潇单位 |哈尔滨工业大学（深圳）研究方向 |情感分析、立场检测内容简介零样本立场检测（zero-shot stance dete...
Contrastive Embedding for Generalized Zero-Shot Learning (CVPR2021)
剑启郁兰的博客
08-20 1142
南京理工大学 PCALab 的一篇工作，该实验室在 cvpr2020 也发表过一篇 zsl 的文章，感觉是准备在 zsl 上深耕的吧。 这篇文章的出发点在于原始的特征空间缺少鉴别性信息，然后学习一个新的嵌入空间。本文主要利用自监督对比学习来解决。作者贡献如下： 提出 hybrid GZSL framework 把生成方法和嵌入方法融合在一起（故事说的还挺好的）； 提出 contrastive embedding ，既使用 class-wise supervision 也使用 instance-wise
Contrastive Embedding for Generalized Zero-Shot Learning
yanhu6955的博客
11-16 1786
Contrastive Embedding for Generalized Zero-Shot Learning 1 Introduction GZSL在分类训练中存在原始特征空间远离语义信息从而导致缺乏辨别能力。文献提出一种混合GZSL框架，是基于特征生成方法和嵌入空间实现的，在特征生成模型的基础上嫁接了一个嵌入模型，由特征生成模型生成的真实可见特征和合成不可见特征映射到一个新的嵌入空间。主要贡献有以下三个方面：（1）提出了一种基于嵌入模型和基于特征生成模型相结合的混合GZSL框...
Contrastive Embedding for Generalized Zero-Shot Learning：广义零样本学习的对比嵌入
qq_43215318的博客
07-07 1188
CVPR 2021 paper 广义零样本学习（GZSL）的目标是当只提供可见类的已标记示例来识别可见类和不可见类的对象。生成模型可以合成不可见的类中缺失的视觉特征，以减轻GZSL中的数据不平衡问题。然而，由于原始的视觉特征空间缺乏区分信息，对于GZSL分类是次优的。我们建议将生成模型与嵌入模型集成，从而产生一个混合的GZSL框架。混合GZSL方法将生成模型产生的真实样本和合成样本映射到一个嵌入空间中，在那里我们执行最终的GZSL分类。具体来说，我们为我们的混合GZSL框架提出了一个对比嵌入（CE）。所提出
【论文学习笔记】Transductive Unbiased Embedding for Zero-Shot Learning (2018_CVPR)
嘿芝麻的树洞
08-21 2709
论文：Transductive Unbiased Embedding for Zero-Shot Learning 链接：http://openaccess.thecvf.com/content_cvpr_2018/CameraReady/1369.pdf   这篇文章是来自CVPR 2018的一篇文章，这篇文章主要的贡献是提出了一个偏置损失函数，同时提出了一个端到端的网络。下...
[论文阅读笔记]Contrastive Boundary Learning for Point Cloud Segment
10-08
【论文阅读笔记】《对比边界学习用于点云分割》（CVPR 2022） 这篇论文关注的是3D点云分割中一个重要的问题——边界处理。现有的点云分割方法在处理边界区域时表现较差，这直接影响了整体分割的精度。论文的作者...
Zero-shot RIS with Global-Local Context Features
10-27
【Zero-shot RIS with Global-Local Context Features】的讨论聚焦于一种新的无样本引用图像分割方法，该方法利用预训练的跨模态模型CLIP（Contrastive Language-Image Pretraining）的知识，解决了指代图像分割...
Contrastive Self-supervised Learning for Graph Classification
12-20
Contrastive Self-supervised Learning for Graph Classification 在图分类问题中， Contrastive Self-supervised Learning（对比自监督学习）是一种有效的方法，它可以解决图分类模型中的过拟合问题。该方法通过在...
contrastive-learning:对比学习方法
03-10
对比学习方法支持更多内容的对比学习方法的第三方pytorch实现（请参阅“可用内容”部分）。有什么可用的？ 使用SimCLR进行对比学习预训练通过停止梯度进行在线线性评估Pytorch闪电登录和默认收益（多GPU训练，混合...
DenseCL：用于自指导式表示学习的DenseCL，CVPR 2021
03-03
2021年的计算机视觉和模式识别（CVPR） arXiv预印本（ ） 强调 增强密集预测： DenseCL预训练模型在很大程度上有利于密集预测任务，包括对象检测和语义分段（最高+ 2％AP和+ 3％mIoU）。 简单的实现： DenseCL的...
Zero-Shot Learing零样本学习数据集分享（GoogleNet 提取）-附件资源
03-02
Zero-Shot Learing零样本学习数据集分享（GoogleNet 提取）-附件资源
【论文笔记】Distinguishing Unseen from Seen for Generalized Zero-shot Learning
m0_60532903的博客
04-16 200
关于Distinguishing Unseen from Seen for GZSL一文的论文笔记
2021-04-19图像方面zero shot learning开篇感想
南方五宿放眼观,犹如潇湘黛未施
04-19 112
系列文章目录 第一章 前篇序言 文章目录系列文章目录前言一、什么都不知道的情况，怎么开始二、通俗论文怎么读三、领域论文怎么读最后 前言 一、什么都不知道的情况，怎么开始 在zero shot learning领域从研n开始看起，首先说一下历程吧，我觉得看书顺序比较重要。 首先是机器学习系列：吴视频b站，还有一本机器学习的书黑皮外文的那个，李宏毅系列，交叉看好吧，懂最重要，形式渠道不重要。 然后是深度学习系列：吴恩达视频（好好看，课后习题是关键）、李宏毅系列、花书（挑重点看我觉得理解就行了，没吴实
ICLR 2022最佳论文：基于对比消歧的偏标签学习
Paper weekly
08-01 1340
©作者 | 张欣单位 | 香港理工大学研究方向 | 图神经网络、自监督学习论文标题：PiCO: Contrastive Label Disambiguation for Partial Label Learning论文作者：Haobo Wang, Ruixuan Xiao, Yixuan Li, Lei Feng, Gang Niu, Junbo Zhao收录会议：ICL...
《Region Graph Embedding Network for Zero-Shot Learning》ECCV2020
weixin_43994864的博客
09-09 1450
1. 问题 已有的zero-shot learning（ZSL）方法总结下来大多采取以下方案：1）从预训练好的或端到端可训练的网络中提取全局特征（如上，Fig 1(a)）；然后2）将这些特征与其语义向量相关联，构建嵌入或生成模型。然而，这些方法不能有效的捕捉可见和不可见图像之间的细微差异，从而导致了不理想的语义迁移。此外，领域偏差的问题仍然存在，这意味着学习的模型仅仅依赖于所看到的类别，而忽略了可用的不可见属性。（我觉得以前方法学习到的信息可以看作粗粒度信息，忽视了细粒度信息和细粒度所在区域之间的关系） .
Semantics Disentangling for Generalized Zero-Shot Learning解读
最新发布
分享计算机视觉，C++，嵌入式等知识。
11-13 185
其实除了VAE自监督外，引入语义属性来约束生成特征的质量。感觉解纠缠这个说法有点扯淡。
【零样本知识蒸馏】（九）ICCV 2021：Feature Refinement for Generalized Zero-Shot Learning
梁瑛平的博客
08-31 881
【零样本知识蒸馏】（九）ICCV 2021：Feature Refinement for Generalized Zero-Shot Learning论文地址：代码地址：主要问题：主要思路：算法动机：整体框架：基本符号：具体实现：Revisiting f-VAEGAN：Feature Refinement:实验结果： 论文地址： https://arxiv.org/abs/2107.13807 代码地址： https://github.com/shiming-chen/FREE 主要问题： 广义零镜头学习（
Augmented semantic feature based generative network for generalized zero-shot learning
qq_43215318的博客
07-07 405
Accepted 14 April 2021（Neural Networks） 零样本学习 (ZSL) 旨在在没有可用于对象类的训练数据时识别图像中的对象。在广义零样本学习（GZSL）设置下，测试对象属于可见或不可见类别。在最近的许多研究中，零样本学习是通过利用生成网络从特定类别的语义特征中合成看不见的类别的视觉特征来执行的。用户定义的语义信息不完整，缺乏可辨别性。然而，大多数生成方法直接使用用户定义的语义信息作为生成模型的约束条件，这使得模型合成的视觉特征缺乏多样性和可分离性。在本文中，我们提出了一种利用
深度学习相关阅读论文汇总（持续更新）
Jennifer_Love_Frank的博客
03-31 4585
本文是对我深度学习过程中一些论文的记录，大部分是基于个人对论文的理解，仅供参考
zero-shot还包括对比学习吗？
05-23
Zero-shot learning和contrastive learning是两个不同的概念，不过它们可以互相结合使用来提升模型的性能。 Zero-shot learning是指在没有任何针对某个特定任务的训练数据的情况下，通过利用先前学习到的知识来解决这个任务。比如，通过对自然图像的学习，能够让模型在没有见过某些新的物体的情况下，也能够识别它们。 Contrastive learning则是一种无监督学习方法，它通过将相似的样本映射到紧密的空间中，将不相似的样本映射到远离的空间中，从而学习出一个良好的特征表示。这种特征表示可以被用于各种任务，包括监督学习任务和无监督学习任务。 在实际应用中，可以将Zero-shot learning和contrastive learning相结合，使模型在没有任何针对特定任务的训练数据的情况下，也能够进行有效的特征学习，并应用到各种任务中。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值