【小样本学习】（三）：Large-Scale Few-Shot Learning via Multi-Modal Knowledge Discover

最新推荐文章于 2023-03-05 11:20:40 发布
最新推荐文章于 2023-03-05 11:20:40 发布
阅读量364 收藏
点赞数
分类专栏： 深度学习-模型压缩（蒸馏剪枝量化） 文章标签： 计算机视觉 python 深度学习 小样本 图像识别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44936889/article/details/119764836
版权
本文探讨了大规模小样本学习的挑战，提出了一种基于多模态知识发现的解决方案。通过视觉和文本知识发现，以及数据分布的不平衡控制策略，改善了模型在新类别识别上的表现。实验表明这种方法能有效提升新类别的识别精度。
摘要由CSDN通过智能技术生成

【小样本学习】（三）：Large-Scale Few-Shot Learning via Multi-Modal Knowledge Discover

论文地址：

https://www.ecva.net/papers/eccv_2020/papers_ECCV/papers/123550715.pdf

代码地址：

没开源

主要问题：

大规模的小样本学习旨在识别数百个新的对象类别，其中每个类别只有几个样本，这是一个具有挑战性的问题，因为：（1）识别过程容易与对象的有限样本发生过拟合；（2）基础（已知知识）类别和新类别之间的样本不平衡很容易对识别结果产生偏差

主要思路：

为了解决上述问题，作者提出了一种基于多模式知识发现的方法

首先使用视觉知识来帮助特征提取器关注不同的视觉部分，其次作者设计了一个分类器来学习在所有类别上的分布

在第二阶段，作者开发了三种方案来最小化预测误差和平衡训练过程：（1）使用硬标签来提供精确的监督；（2）利用语义文本知识作为弱监督，寻找新类

了解本专栏 订阅专栏 解锁全文 超级会员免费看
BIT可达鸭
关注
专栏目录
订阅专栏
【点云】M3DeTR: Multi-representation, Multi-scale, Mutual-relation 3D Object Detection with Transformers
梁瑛平的博客
07-26 821
本文提出了一种新的三维目标检测架构，M3DETR，它将不同的点云表示（原始、体素、鸟瞰图）与基于多尺度特征金字塔的不同特征尺度相结合。M3DETR 是第一种使用 Transformer 同时统一多个点云表示、特征尺度以及建模点云之间的相互关系的方法。 ...
Large-Scale Few-Shot Learning: Knowledge Transfer With Class Hierarchy 论文笔记
qq_30146937的博客
04-16 592
前言 在大规模小样本学习（large-scale FSL）中，有这样一个baseline：使用所有的源类（source class）训练一个feature embedding模型，然后用这个模型提取出目标类（target class）中样本的特征，以进行最近邻分类。从下图可以看出，仅使用简单的最近邻（NN）方法得到的结果，甚至能与目前最先进的FSL模型相匹配： 这就说明了一个问题：在SGM、PP...
【阅读笔记】Large-Scale Few-Shot Learning via Multi-Modal Knowledge Discovery
靓仔博客
03-22 438
大规模的少样本学习旨在识别数百个新的对象类别，每个类别只有几个样本。这是一个具有挑战性的问题，因为（1）识别过程容易过度拟合对象的有限样本，以及（2）基础（已知知识）类别和新类别之间的样本不平衡很容易使识别产生偏差结果。为了解决这些问题，我们提出了一种基于多模态知识发现的方法。首先，我们使用视觉知识来帮助特征提取器专注于不同的视觉部分。其次，我们设计了一个分类器来学习所有类别的分布。在第二阶段，我们开发了三种方案来最小化预测误差并平衡训练过程：（1）硬标签用于提供精确的监督。 (2)利用语义文本知识作为弱监
论文阅读笔记《Large-Scale Few-Shot Learning: Knowledge Transfer With Class Hierarchy》
深视
05-23 1799
核心思想   本文提出一种带有类别分级的知识迁移算法实现了大规模小样本学习任务，与之前的小样本学习任务只包含几十个类别的情况不同，大规模小样本学习任务包含上千个类别的图像，但每个类别包含的样本图片很少，因此也给学习算法带来很大的困难。先前的算法基本都是利用卷积神经网络提取特征，然后利用最近邻算法实现分类，本文则在此基础上增加了一个类别分级网络，并以此引导特征提取网络的训练。首先，作者将数据集分成两大部分源集SsourceS_sourceSs​ource和目标集StargetS_targetSt​arget，
【阅读笔记】Large-Scale Few-Shot Learning: Knowledge Transfer With Class Hierarchy
靓仔博客
03-19 1390
最近，大规模的少样本学习（FSL）成为热门话题。研究发现，对于源域中有 1000 个类的大规模 FSL 问题，会出现一个强基线，即使用聚合的源类简单地训练深度特征嵌入模型，并使用最近邻（NN）搜索学习目标类的特征。最先进的大规模 FSL 方法难以超越这一基线，这表明可扩展性存在内在限制。为了克服这一挑战，我们提出了一种新颖的大规模 FSL 模型，该模型通过使用类层次结构学习可转移的视觉特征来编码源类和目标类之间的语义关系。大量实验表明，所提出的模型不仅明显优于 NN 基线，而且优于最先进的替代方案。此外，我
Multi-modal Graph Contrastive Learning for Micro-video Recommendation
qq_42018521的博客
03-05 1110
解决问题：同种重要性对待每种模态，可能使得得到的特征表示次优，例如过度强调学习到的表示中的特定模态。以MMGCN为例，下图为MMGCN模型总览。
多模态知识图谱论文阅读（一）Richpedia: A Large-Scale, Comprehensive Multi-Modal Knowledge Graph
csdnzzkk的博客
03-23 5362
Richpedia: A Large-Scale, Comprehensive Multi-Modal Knowledge Graph 一、Richpedia是一个图像多模态知识图谱，顾名思义实体分为了文本实体和图像实体，由这些实体构成三元组。论文介绍了Richpedia的建立过程，包括了数据收集、图像处理和关系挖掘。                &nbsp
【零样本学习】Multi-modal Cycle-consistent Generalized Zero-Shot Learning
x124612的博客
10-30 1145
Motivations 现有的GZSL方法学习视觉空间到语义空间的映射（假设视觉空间和语义空间中的类别分布相似），容易偏向于seen class，导致GZSL的准确率低。近年来，生成式方法通过生成unseen class的特征，再学习分类器，提升了GZSL性能。但是它不能保证生成的视觉特征能够反过来生成它对应的语义特征。这导致生成的视觉特征不能很好地表示它的语义特征。所以，提出使用 cycle-c...
Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders【CVPR2019】
Xie_learning的博客
08-16 1041
Generalized Zero- and Few-Shot Learning via Aligned Variational Autoencoders摘要网络结构图 ![在这里插入图片描述](https://img-blog.csdnimg.cn/20190816160725575.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdG...
CrossCLR: Cross-modal Contrastive Learning for Multi-modal Video Representations, 2021 ICCV
BachelorSC ' s Notes
03-06 2977
**本文内容仅代表个人理解，如有错误，欢迎指正** 1. Points 这篇论文主要解决两个问题 1. 跨模态对比学习(Cross-modal Contrastive learning)更注重于不同模态下的数据，而非同一模态下的数据。 - 也就是说，将不同模态下的数据投影到Joint space时，希望paired samples(eg, Image1和Text1)之间的距离可以尽可能地小，unpaired samples(eg, Image1和Text2)之间的距离可以尽可能地大。而忽略了一个问题
代码表征预训练语言模型学习指南：原理、分析和代码
Paper weekly
07-20 2021
©作者 |孙秋实学校 |华东师范大学研究方向 |自然语言处理自从 2020 年 CodeBERT 开了代码表征预训练模型（本文称之为 CodePTM）这个新坑后，在短短两年的时间内出现了若干个程序设计语言（Programming Language，称之为 PL，与 Natural Language，也就是 NL 对应）语言模型。它们的共同特点是大部分用于处理 PL（...
多模态小样本
qq_21157073的博客
12-18 3427
Large-Scale Few-Shot Learning via Multi-Modal Knowledge Discovery（解决大类别下的小样本学习） 关键点：视觉特征分块；语义弱监督的引入 在视觉空间中，将图片分为三种，原始图片+前景图片+背景图片。其中前景背景是通过显著性检测得到。 分别正对原始图片，前景图片，背景图片输入到对应网络中提取特征，将三个得到的特征拼接为一个视觉特征。 构建每个类的语义弱监督。计算novel类与base类的相似性，选取最大的几个。 损失函数： （1）$L
从 CVPR 2019 一览小样本学习研究进展
AI 研习社的博客
07-26 4082
随着研究者们对样本利用效率的要求日益提高，小样本学习逐渐成为了 AI 领域以及相关顶会最热门的话题之一。色列特拉维夫大学的在读博士研究生 Eli Schwarts 参加完CVPR 2019 后，针对今年CVPR 2019 的热点之一——小样本学习整理出了一份论文清单，供大家从 CVPR 的维度一览小样本学习在目前的研究进展。同时，社长想告诉大家文末有福利噢~ 背景 最近，小样本物体识别成为...
小样本学习&元学习经典论文整理
热门推荐
深视
08-21 4万+
  本文整理了近些年来有关小样本学习的经典文章，并附上了原文下载链接以及论文解读链接。文末有我个人公众号“深视”的二维码链接，关注公众号回复“小样本学习”，可以打包下载全部文章。该文我会持续更新，不断增添新的文章和相关解读，大家可以收藏关注一下。 一、基于度量学习的小样本学习算法 1.《Siamese Neural Networks for One-shot Image Recognition》   网络名称：Siamese Network   文章来源：ICML2015   原文下载：http://www
最后采用加权求和的方式得到样本的_ECCV2020 小样本学习
weixin_39563823的博客
12-20 847
本文主要总结了ECCV2020的小样本学习相关的文章。对于小样本的思考文章Impact of base dataset design on few-shot image classification动机：对于小样本问题，base dataset进行训练学习到的特征提取能力对最终性能影响巨大。本文主要探讨了如何设计一个好的base dataset，以及一个好的base dataset应该具有什么相关...
数据不平衡之a few-shot learning
qq_41619630的博客
03-27 649
数据不平衡问题之a few-shot learning 对于机器来说，他的学习过程一般建立于大量的数据训练上面，但是对于一种生活中常见的情况，他会如何处理呢？比如说，小明去动物园看到了马、熊猫，但是由于动物园里面没有斑马，小明的爸爸这样告诉小明，斑马外形和马相似，它的皮肤颜色和熊猫配色一样。那么小明的脑海中就有了熊猫的形象。 for a large-scale FSL problem with 1...
CVPR2019 少样本学习
u013328485的专栏
07-24 1123
分类任务上的少样本学习 1.Edge-Labeling Graph Neural Network for Few-shot Learning(classification) paper: https://arxiv.org/abs/1905.01436 code: https://github.com/khy0809/fewshot-egnn 图网络（Graph ...
【CVPR2019】论文完整列表一
TomRen
06-11 1万+
CVPR 2019 Paper list[1-1000] CVPR2019 完整列表二 论文题目与链接 Finding Task-Relevant Features for Few-Shot Learning by Category Traversal Edge-Labeling Graph Neural Network for Few-Shot Learning G...
Cross-Modal Collaborative Representation Learning and a Large-Scale RGBT Benchmark for Crowd Counting
最新发布
05-11
这篇论文提出了一种跨模态协作表示学习方法和一个大规模 RGBT 数据集，用于人群计数。该方法主要是通过将可见光图像和热红外图像作为输入，同时训练一个共享的卷积神经网络，来学习两种不同模态之间的关联性，从而提高人群计数的准确性。同时，该论文还提出了一个大规模的 RGBT 数据集，用于评估该方法的性能。实验结果表明，该方法在几种不同的数据集上都取得了优异的表现，并且在该数据集上超过了其他现有的方法。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

BIT可达鸭

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值