ECCV20 Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification

已于 2023-01-08 17:05:02 修改
阅读量690 收藏 4
点赞数 1
分类专栏： 零样本学习 文章标签： 深度学习 人工智能
于 2021-01-04 20:53:35 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cp_oldy/article/details/112200360
版权

隐含嵌入反馈和判别性特征生成

论文
代码

太厉害了！

摘要——可以再看看

目标任务： 生成零样本

现有方法问题： 训练阶段保持语义一致性，在特征生成和分类阶段丢掉了这个约束。

提出方法： 提出在所有阶段（训练，特征生成，分类）强加一致性约束。

  • 首先， 在训练和特征生成阶段，引入反馈循环，提升生成特征。
  • 其次，在分类阶段，将生成特征和隐含嵌入转换成you判别性的特征。

验证任务： 零样本分类任务（CUB，FLO，SUN和AWA），零样本动作识别任务（HMDB51和UCF101）

引言

推荐看，写的不错。
生成方法分析：GAN存在模式坍塌问题，导致生成特征的多样性降低；VAE的特征生成更稳定，但是生成分布和后验分布不太像。

方法

f-CLSWGAN

f-CLSWGAN
在这里插入图片描述

f-VAEGAN-D2

f-VAEGAN-D2

在这里插入图片描述

本文方法

论文有两个创新模块：一个是SED语义嵌入解码器；一个是F反馈模块。目的就是提升生成器和分类器的性能。SEC的动机是SEC的“特征到语义的多对一映射”和生成器的“语义到特征的一对多映射”信息互补，F的反馈机制受启发于超分辨中的反馈机制，在zsl中用于训练分类器。
在这里插入图片描述

3.3 Semantic Embedding Decoder

在这里插入图片描述

3.4 Feedback Module

在这里插入图片描述

实验

碾压！
在这里插入图片描述

一亩高粱
关注
专栏目录
Graph Neural Networks: A Review of Methods and Applications（图神经网络：方法与应用综述）
weixin_41697507的博客
07-06 5363
Graph Neural Networks: A Review of Methods and Applications Jie Zhou , Ganqu Cui , Zhengyan Zhang , Cheng Yang, Zhiyuan Liu, Lifeng Wang, Changcheng Li, Maosong Sun Abstract—Lots of learning tasks req...
Latent Embedding Feedback and Discriminative Features for Zero-Shot Classification (ECCV2020)
剑启郁兰的博客
09-25 1072
近来零样本学习文章大多基于生成模型，这篇文章也是在 GAN 的基础上更进一步来提高性能的。本文基于 VAE-GAN，作者说其他人用带 decoder 的模型，在训练之外就把 decoder 丢掉了，这很不好，因此作者倡议在训练、特征生成和分类都使用语义嵌入解码器 semantic embedding decoder (SED)。另外，使用的 feedback loop。创新点有两个，归纳起来就是 提出 semantic embedding decoder (SED)，并设计 feedback module
CVPR 2018 LDF: Discriminative Learning of Latent Features for Zero-Shot Recognition
一亩高粱
08-12 3406
零样本学习：利用注意力网络学习有判别性的隐含属性。
[CVPR 2018]Discriminative Learning of Latent Features for Zero-Shot Recognition
剑启郁兰的博客
02-19 908
文章目录背景贡献模型The Image Feature Network（FNet）The Zoom Network（ZNet）The Embedding Network(ENet)Prediction实验 背景 作者认为当前(2018年前)zero-shot研究的核心主要是在视觉空间和语意空间中学习合适的映射关系，而忽视了学习ZSL问题中 有判别力的表示。几乎所有的模型都有着相似的范式，即通过手工...
[CVPR 2018 论文笔记] Feature Generating Networks for Zero-Shot Learning
fuyouzhiyi的博客
07-10 2110
文章目录1 简介2 模型3 实验4 总结5 有意思的地方 零样本问题可以看作是数据缺失问题。由于目标域数据不可见，导致模型训练时的数据不均衡。一个直观的想法就是生成目标域的数据。生成图像是最简单的想法，但是本文提出直接生成目标域的特征，而不是图像。我认为，这样做确实能够提高精度，因为最后做分类都是在特征上做的，直接生成特征，能够缓解生成图像质量不好的问题。 1 简介 介绍一篇CVPR 2018的...
Zero-Shot Learning论文学习笔记（第三周）
Ace Cheney的博客
10-18 1759
Zero-Shot Learning论文学习笔记（第三周） Feature Generating Networks for Zero-Shot Learning原文链接：摘要算法简介：使用GAN在特征空间生成数据的原因1.f-GAN2.f-WGAN3.f-CLSWGAN实验1.f-CLSWGAN模型在ZSL和GZSL任务上的性能。数据集简介关于准确率f-xGAN各种变体在ZSL和GZSL任务上的性...
五大CV顶会，两大机器人顶会关于few-shot-learning论文汇总(NIPS,ICML,CVPR,ECCV,ICCV)
vanlish的博客
04-19 2150
五大CV顶会，两大机器人顶会关于few-shot-learning论文汇总1. NIPS1.1 2015NIPS1.2 2016NIPS1.3 2017NIPS1.4 2018NIPS1.5 2019NIPS2. ICML2.1 2015ICML2.2 2016ICML2.3 2017ICML2.4 2018ICML2.5 2019ICML3. CVPR3.1 2015CVPR3.2 2016CV...
迁移学习之零次学习最新研究综述 | 前沿
TensorFlowNews
06-05 2690
特约作者 : Innse 最近看了一段时间零次学习系列的文章，这里介绍一些代表性的论文，算是对这段时间学习的一个总结，前方公式高能，有点长，为了阅读顺畅我会尽量减少一些公式并且尽量解释这些式子，想看完整推导过程的可以自己找原文来看，可能会有理解错误的地方，欢迎指正。 0. 什么是零次学习？ 这个问题基本上在每篇零次学习的论文中的引言里都会介绍一遍，这里简单说一下。在零次学习（ZSL）中，...
基于视觉的机器人抓取: 论文及代码(Vision-based Robotic Grasping: Papers and Codes)
dsoftware的博客
10-22 2万+
最近总结了基于视觉的机器人抓取的相关论文及代码，同步于github。根据抓取的类别，基于视觉的机器人抓取可以分为两类：2D平面抓取以及6D空间抓取。这个页面总结了近年来涉及到的各种各样的方法，其中大部分都使用了深度学习。总结的中文框架结构如下： 0.综述论文 1. 2D平面抓取 这类方法将抓取，用平面内旋转的矩形框表示； 1.1基于RGB或者RGB-D的方法 采用基于目标检测类的方法，直接得到2D...
ECCV 2012 List of accepted papers
xdyang的图像视觉小屋
07-04 2万+
Oral presentation  oral出来了，只有40篇文章，录取率只有大概2.3%。先Mark一下，等出来后选感兴趣的看几篇 Paper id Paper title Author names 13 Diverse M-Best Solutions in Markov Random Fields Dhruv Batra*, Toyota Techno
【零样本学习】Multi-modal Cycle-consistent Generalized Zero-Shot Learning
x124612的博客
10-30 1143
Motivations 现有的GZSL方法学习视觉空间到语义空间的映射（假设视觉空间和语义空间中的类别分布相似），容易偏向于seen class，导致GZSL的准确率低。近年来，生成式方法通过生成unseen class的特征，再学习分类器，提升了GZSL性能。但是它不能保证生成的视觉特征能够反过来生成它对应的语义特征。这导致生成的视觉特征不能很好地表示它的语义特征。所以，提出使用 cycle-c...
端到端训练 联合训练_开源 | CVPR2020 端到端的ZSL训练模型，用于视频分类任务...
weixin_39623671的博客
12-01 187
本文首发于公众号：CNNer 。每日分享CVPR、ECCV等会议，关注深度学习、自动驾驶领域，我们期待你的加入。关注“CNNer”，选择加“星标”或“置顶”精选干货，当日达。论文地址：http://arxiv.org/pdf/2003.01455v3.pdf代码：https://github.com/bbrattoli/zeroshotvideoclassification.来源：海德堡大学论文名...
供参考的the-gan-zoo，列出的GAN相关模型和论文
张荣
08-12 3465
想学习，更多的GAN相关的模型和论文，可参考https://github.com/hindupuravinash/the-gan-zoo 以下是来自该作者的 github上 整理的部分论文， 如果需要查看更多，请前往https://github.com/hindupuravinash/the-gan-zoo 3D-ED-GAN - 使用3D生成对抗网络和循环卷积网络进行形状修复 3D-...
2022-2023 计算机视觉顶会截止时间
热门推荐
NLOS的博客
07-31 4万+
CVPR2021 http://iccv2021.thecvf.com/ Nashville, TN June 21st- June 24th paper submission deadline: Nov 16, 2020. SIGIR 2021 https://sigir.org/sigir2021 Montreal, Quebec, Canada Paper Submission DeadlineJan 22, 2021 (TBD) Main Conference...
迁移学习笔记
一亩高粱
10-27 742
record
Learning Cross-Aligned Latent Embeddings for Zero-Shot Cross-Modal Retrieval论文阅读笔记
CHENchen2o3的博客
10-28 955
Learning Cross-Aligned Latent Embeddings for Zero-Shot Cross-Modal Retrieval论文笔记 论文框架摘要引言论文框架 ) 论文框架 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 摘要 零样本跨模态检索是当前研究的一个热点，旨在通过不同的数据模态检索出来新类。当前的难点不仅是不同模态之间数据的异质分布，而且可见类
【周记】003-20190916-201900923（隐含属性字典LAD可还原保持语义，不同变量交替优化）
USTSD的博客
09-17 231
报告内容 （泛读靠自觉，精读要深刻，进展需显著） 论文精读 论文1：（作者，题目，发表信息） 题目：Learning Discriminative Latent Attributes for Zero-Shot Classification 来源：ICCV2017-学习 判别性隐含属性进行零样本分类 问题动机：部分样本数据较少，学习与有标注样本之间的潜在联系，预测未知类别的样本 解决...
AMiner必读论文推荐#IJCAI 2021 零样本学习相关论文#
AI_Conf的博客
08-04 260
AMiner必读论文推荐#IJCAI 2021 零样本学习相关论文# 论文集地址：https://www.aminer.cn/topic/6107e4f892c7f9be21b07488?f=csdn 零样本学习是针对数据缺乏时充分利用先验信息来实现机器学习任务的一类方法. 具体来说，它针对的是在新的类别上不具备有标签样本情况系完成分类或预测任务。本论文集包含IJCAI 2021少样本学习相关论文。该论文集共收5篇论文。 注册AMiner，让AI帮你理解科学：https://www.aminer.cn .
[CVPR 2019] f-VAEGAN-D2: A Feature Generating Framework for Any-Shot Learning
一亩高粱
07-19 1028
直推式生成零样本
RGBD单目6D物体姿态估计：ECCV 2022新方法OLD-Net
"从单目RGB图像中进行类别级6D物体姿态估计——ECCV 2022会议论文" 本文主要关注的是6D物体姿态估计的问题，特别是针对RGB图像的单目方法。6D物体姿态估计是计算机视觉领域的一个重要课题，它涉及识别和确定三维...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值