【零样本学习】Multi-modal Cycle-consistent Generalized Zero-Shot Learning

最新推荐文章于 2022-10-05 17:26:57 发布
最新推荐文章于 2022-10-05 17:26:57 发布
阅读量1.1k 收藏 3
点赞数 1
分类专栏： Zero-Shot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/x124612/article/details/101698994
版权

Motivations

现有的GZSL方法学习视觉空间到语义空间的映射（假设视觉空间和语义空间中的类别分布相似），容易偏向于seen class，导致GZSL的准确率低。近年来，生成式方法通过生成unseen class的特征，再学习分类器，提升了GZSL性能。但是它不能保证生成的视觉特征能够反过来生成它对应的语义特征。这导致生成的视觉特征不能很好地表示它的语义特征。所以，提出使用 cycle-consistent loss作为正则化项来训练GAN，使得所生成的视觉特征能够重构它的原始语义特征。（我们认为这个约束能保留视觉特征和语义特征之间的语言兼容性。）
在这里插入图片描述

Method

f-CLSWGAN
我们的方法是基于f-CLSWGAN(参考之前写过的一篇博客)，其目标函数为：
在这里插入图片描述
在这里插入图片描述

最低0.47元/天 解锁文章
x124612
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习跨模态图文检索研究综述
qq_61890005的博客
12-24 723
跨模态检索是多模态学习的重要分支,其目的在于挖掘不同模态样本之间的关系,即通过一种模态样本来检索具有近似语义的另一种模态样本。首先,聚焦于深度学习跨模态图文检索研究的最新进展,对基于实值表示学习和基于二进制表示学习方法的发展动态进行了详细介绍,其中,基于实值表示的方法用于提升跨模态语义相关性,进而提高跨模态检索准确度,基于二进制表示学习的方法用于提升跨模态图文检索效率,减小存储空间;目前流行的基于深度学习的实值表示跨模态图文检索方法可分为两类：基于特征表示的方法和基于图文匹配的方法。
Multi-Modal 3D Object Detection in Autonomous Driving a Surv
09-23
Multi-Modal 3D Object Detection in Autonomous Driving a Survey.zip
【零样本学习】Feature Generating Networks for Zero-Shot Learning
x124612的博客
09-23 2212
Abstract 由于seen class和unseen class训练数据的极度不平衡，现有的ZSL方法在GZSL任务上性能很差。我们提出基于GAN框架，利用语义信息来生成CNN特征。我们的方法利用Wasserstein GAN和分类损失，生成判别性强的CNN特征，来训练分类器（softmax classifiers or multimodal embedding method）。 Contri...
Gan-based zero-shot learning 论文整理
anlaiji6783的博客
08-23 467
1 Feature Generating Networks for Zero-Shot Learning Suffering from the extreme training data imbalance between seen and unseen classes, most ofexisting state-of-the- art approaches fail to achi...
多模态学习 讲座记录
Ray Home
10-05 689
多模态学习，讲座PPT记录
零样本学习近年文献总结
qq_40163276的博客
01-16 1616
Zero-Shot Learning 该文作者总结了近些年在零样本领域的一些研究文章、开源代码以及相关项目。 介绍 具体内容可以访问我的github（hch-xmu），本人最近也在开始做零样本领域的研究，国内进行相关的研究我发现尚且不多，尤其是应用方面的，当然本人菜鸡一个，如果有志同道合的道友，欢迎来骚扰。 https://github.com/hch-xmu/awesome-zero-shot-learning 原作者访问网站也放下面了 https://github.com/sbharadwajj/
[CVPR 2018 论文笔记] Feature Generating Networks for Zero-Shot Learning
fuyouzhiyi的博客
07-10 2064
文章目录1 简介2 模型3 实验4 总结5 有意思的地方 零样本问题可以看作是数据缺失问题。由于目标域数据不可见，导致模型训练时的数据不均衡。一个直观的想法就是生成目标域的数据。生成图像是最简单的想法，但是本文提出直接生成目标域的特征，而不是图像。我认为，这样做确实能够提高精度，因为最后做分类都是在特征上做的，直接生成特征，能够缓解生成图像质量不好的问题。 1 简介 介绍一篇CVPR 2018的...
[ECCV 2018] Multi-modal Cycle-consistent Generalized Zero-Shot Learning
一亩高粱
07-19 344
判别器改进，输入是（v, s）对
ECCV 2018 完整论文集 -- List & 下载链接
热门推荐
TomRen
09-02 1万+
下文列表为ECCV2018官网得到了今年接收论文列表，共779篇： 持续更新下载链接 Oral: Convolutional Networks with Adaptive Computation Graphs Progressive Neural Architecture Search Diverse Image-to-Image Translation via Dise...
迁移学习笔记
一亩高粱
10-27 635
record
【零样本学习】Generalized Zero-Shot Learning via Synthesized Examples
x124612的博客
10-30 2506
Abstract 提出生成模型来解决generalized zero-shot learning问题。在条件变分自编码器的基础上，可以生成seen/unseen class的特征，然后可以用来训练分类器。我们的编码-解码结构的关键点是反馈驱动机制，其中判别器(多元回归器)学习将生成的特征映射到相应的类别属性向量，从而得到更好的生成器。我们的模型能够生成unseen class的特征，并且用来训练分...
Multi-Modal 3D Object Detection in Autonomous Driving a
09-25
Multi-Modal 3D Object Detection in Autonomous Driving a Survey.pdf
Multi-modal Circulant Fusion for Video-to-Language and Backward
02-07
Multi-modal Circulant Fusion for Video-to-Language and Backward
Multi-modal Multi-task Learning for Automatic Dietary Assessment.
02-07
Multi-modal Multi-task Learning for Automatic Dietary Assessment.
MMDF-LDA: An improved Multi-Modal Latent Dirichlet Allocation model for social image annotation
02-06
How to enhance the accuracy of social image annotation by fully exploiting multi-modal features is still an open- ing and challenging problem. In this paper, we propose an improved Multi-Modal D
零样本学习公开代码整理
Shawn
12-09 6686
2018_CVPR_Zero-shot Recognition via Semantic Embeddings and Knowledge Graphs [code] 2018_CVPR_Learning to Compare: Relation Network for Few-Shot Learning [code] 2018_CVPR_A Generative Adversarial App...
ECCV2018比较有意思的paper
Hello World
09-25 2314
Double JPEG Detection in Mixed JPEG Quality Factors using Deep Convolutional Neural Network Fighting Fake News: Image Splice Detection via Learned Self-Consistency Face De-Spoofing: Anti-Spoofing vi...
供参考的the-gan-zoo，列出的GAN相关模型和论文
张荣
08-12 3377
想学习，更多的GAN相关的模型和论文，可参考https://github.com/hindupuravinash/the-gan-zoo 以下是来自该作者的 github上 整理的部分论文， 如果需要查看更多，请前往https://github.com/hindupuravinash/the-gan-zoo 3D-ED-GAN - 使用3D生成对抗网络和循环卷积网络进行形状修复 3D-...
ZstGAN: An Adversarial Approach forUnsupervised Zero-Shot Image-to-Image Translation
Joselynzhao
10-24 1071
ZstGAN: An Adversarial Approach forUnsupervised Zero-Shot Image-to-Image TranslationAbstractIntroductionMethodsProblem FormulationArchitectureReference Abstract In this work In this workwe, we propose...
directive contrast based multi- modal medical image fusion in nsct domain的
最新发布
07-28
directive contrast based multi-modal medical image fusion in nsct domain是一种指导对比度的多模态医学图像融合方法。医学图像融合是利用不同模态的医学图像进行融合，以提高诊断准确性和信息丰富度。 这种方法在nsct域中进行图像融合，nsct是一种多分辨率分解技术，它可以将图像分解成多个子带，捕捉不同频率和尺度上的图像信息。这种方法通过对比度信息进行指导，将来自不同模态的医学图像进行融合，以提高融合结果的对比度和清晰度。通过这种方法，可以更好地突出感兴趣区域中的细节和结构。 指导对比度是通过计算不同模态图像之间的对比度差异来进行的。对比度差异越大，说明图像在该区域的信息差异越大，因此需要更加关注该区域的融合结果。通过计算和比较对比度差异，可以得到指导融合过程中各个子带的权重，从而实现优化的图像融合效果。 在多模态医学图像融合中，这种方法可以提高图像的清晰度和对比度，从而更好地帮助医生进行诊断和治疗决策。与传统的融合方法相比，这种方法在融合结果中保留了更多的细节信息，并且能够更好地突出感兴趣区域。因此，directive contrast based multi-modal medical image fusion in nsct domain是一种有效的医学图像融合方法。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值