Few-Shot Class-Incremental Learning via Relation Knowledge Distillation 閱讀筆記

最新推荐文章于 2023-03-27 08:15:48 发布
最新推荐文章于 2023-03-27 08:15:48 发布
阅读量745 收藏
点赞数 1
分类专栏： 機器學習 論文筆記 few-shot incremental learning 文章标签： 深度学习 pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lcchu/article/details/121911951
版权

這篇論文來自 2021 AAAI
屬於小樣本增量學習

 

Relation原因

具體而言，IKD 方法僅約束原始網絡的響應與在新任務中學習到的單個示例的響應之間的差異。 結果，對於許多人工智能應用（例如圖像分類和類增量學習）很重要的點之間的相互關係不可避免地被忽略了。

顯然，樣本之間存在大量的相關信息。 例如，貓通常更像狗，而不是汽車。 這種關係可以作為學習順序任務的有用先驗。 因此，它提供了一種更有效的方法，不僅可以約束特徵空間中樣本的位置，還可以約束它們在few shot class incremetnal learning問題中的關係。

構建ERG, examplar挑選

Reason:

However, the randomly-selected exemplars can not well represent data of different classes from the old network in the FSCIL scenarios. 

設定每個

最低0.47元/天 解锁文章
lcchu
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【增量学习】2022 KDD Geometer: Graph Few-Shot Class-Incremental Learning via Prototype Representation
图挖掘领域，新晋砖家 ☞ 未来可期，欢迎和静静一起学习交流吖
06-08 472
在许多实际场景中，图随着新节点和边的出现而演变。由于新出现或缺乏探索，新类别逐渐出现，并且很少有标记。在本文中，专注于这个具有挑战性但实用的图少样本类增量学习（GFSCIL）问题，并提出了GEOMETER。通过找到最近的类原型来预测节点的标签，通过观察几何接近度、均匀性和可分离性来学习和调整基于注意力的原型。进一步引入了教师-学生知识蒸馏和有偏抽样，以分别缓解灾难性遗忘和不平衡标签问题。...
Paper reading:Few-Shot Class Incremental Learning Leveraging Self-Supervised. CVPR2022workshop
家家的专栏
06-26 677
本文研究利用自我监督学习的进步来纠正过度适应和灾难性遗忘，进而提高性能。首先探索在监督和自监督模型中学习到的特征串联基础上，训练轻量级特征融合+分类器。利用基类数据中的样本来学习监督模型，其中基类中大量的数据可以得到利用。利用大量未标注数据进行自监督模型的学习。利用融合后的特征来学习分类器，会取得比较好的性能。此外，文中还利用一个高斯生成器来减少小样本类增量学习过程中的灾难性遗忘问题...
Few-Shot Class-Incremental Learning from anOpen-Set Perspective论文笔记
weixin_47269893的博客
03-27 834
一个Few-Shot Class-Incremental Learning (FSCIL)模型，需要在所有类上表现良好，无论它们的表示顺序如何或是否缺乏数据。它还需要对需要对较少的数据 (one-shot scenario) 具有鲁棒性，并且容易适应该领域出现的新任务目前的SOTA方法仅使用class-wise average accuracy类平均精度来评价模型的性能，无法评估是否由于类不平衡和数据不平衡存在prediction bias预测偏差；
阅读笔记Y CVPR2021 Self-Promoted Prototype Refinement for Few-Shot Class-Incremental Learning FSCIL自提高原型提
weixin_47340312的博客
07-18 576
fewshot文章阅读
Raki的读paper小记：SUBSPACE REGULARIZERS FOR FEW-SHOT CLASS INCREMENTAL LEARNING
Raki_J的博客
02-25 978
Abstract & Introduction & Related Work 研究任务 已有方法和相关工作 Few-shot and incremental learning Learning class representations Learning with side information from language 面临挑战 创新思路 这种方法的关键是一个新的子空间正则化方案系列，它鼓励新类的权重向量接近于现有类的权重所跨越的子空间，可以直接扩展以纳入关于新类的额外背景信息
[arxiv 2020] Few-Shot Class-Incremental Learning via Feature Space Composition
一亩高粱
07-02 1558
小样本类别增量学习——组合嵌入空间
Incremental Few-Shot Learning for Pedestrian Attribute Recognition.pdf
03-15
增量少样本学习、行人属性识别、元学习、基准数据集、深度学习、CNN、RNN 行人属性识别是视频监控应用中的一个重要研究方向，由于其在人员重识别、社会行为分析和面部验证等视觉监控领域中的广泛应用，近年来受到了...
Incremental-Learning-for-Tracking.rar_INCREMENTAL LEARNING_目标跟踪
09-22
增量学习（Incremental Learning）是一种机器学习方法，它允许模型在新数据到来时逐步更新其参数，无需重新训练整个模型。在目标跟踪领域，增量学习是至关重要的，因为它能够适应目标外观的变化，如光照、遮挡、姿态...
Few Shot Incremental Learning with Continually Evolved Classifiers论文详解 基于持续进化分类器的小样本类别增量学习CVPR2021
祥瑞的技术博客
05-10 3244
Few Shot Incremental Learning with Continually Evolved Classifiers CVPR2021，由新加坡南洋理工大学 本文利用Graph即图模型，将拓扑结构与增量模型向结合，从而取得不错的效果。 类似论文，均是基于双阶段的增量模型，一个是特征提取模块，另一个是分类器模块。 对于Rehearsal的方法而言，特征提取模块可能一起更新。 对于本文的方法而言，特征提取模块一旦初始训练好，就固定下来，只更新分类器模块。本文的分类器模块与GAT(.
FewShot-CVPR:通过预测激活参数来进行少量图像识别
05-11
通过预测激活参数来进行少量图像识别 通过预测激活参数来实现一次快速学习的火炬实施： ，，， 在2018年计算机视觉与模式识别会议（CVPR）上 @inproceedings{Act2Param, title = {Few-Shot Image Recognition by Predicting Parameters from Activations}, author = {Siyuan Qiao and Chenxi Liu and Wei Shen and Alan L. Yuille}, booktitle = {CVPR}, year = {2018} } 介绍 我们的方法的灵感来自于对图像进行最终分类的最终完全连接层之前的激活之间的紧密关系以及该完全连接层的参数。 我们将t-SNE结果绘制在对ImageNet的子集进行预训练的50层ResNet的全连接层之
Incremental Few-Shot Learning with Attention Attractor Networks
VIEO
03-14 1524
https://www.jianshu.com/p/fdd4f78bcf0b 多伦多大学提出注意式吸引器网络，实现渐进式少量次学习 引言 通常，机器学习分类器的训练目标是识别一组预定义的类别，但是很多应用往往需要机器学习能通过有限的数据灵活地学习额外的概念，而且无需在整个训练集上重新训练。 这篇论文提出的渐进式少量次学习（incremental few-shot learning）能...
FSCIL论文详解 Few-Shot Class-Incremental Learning， CVPR2020
祥瑞的技术博客
04-26 5729
CVPR2020 论文地址： https://arxiv.org/pdf/2004.10956.pdf CVPR2020 本篇，FSCIL，西交大提出的。将NG网络运用到增量学习之中。 ECCV2020，TPCIL，也是西交大的同一个人发的，Topology Preserving Class-Incremental learning，同样的框架，即CNN+拓扑结构，部分内容换了一个写法。 CVPR2021与本篇非常类似，Few-Shot Incremental Learning with Cont
魏星计算机软件博士,Welcome - 魏 星
weixin_35817602的博客
07-05 501
LearningTo Count via Unbalanced Optimal TransportZhiheng Ma, Xing Wei, Xiaopeng Hong, Hui Lin, Yunfeng Qiu, Yihong GongAAAI2021[Paper]ErrorAware Density Isomorphism Reconstruction for Unsupervised C...
论文阅读笔记《Few-Shot Class-Incremental Learning》
深视
06-19 8249
核心思想   本文提出一种用于解决小样本类别增量学习（few-shot class-incremental learning, FSCIL）的算法（TOPIC）。首先解释一下什么是小样本类别增量学习，模型首先在一个大规模的基础数据集D(1)D^{(1)}D(1)上进行训练，然后会不断增加新的数据集D(t),t>1D^{(t)}, t>1D(t),t>1，且数据集中的类别与基础数据集中的不同，样本数量也较少，在学习新的样本过程中，还不能忘记之前学习过的样本。这一过程面临两个难题：灾难性遗忘和
知识图谱入门 - 构建运维知识图谱前站
yuezhilangniao的博客
06-18 1287
什么是知识：Plato：是永恒不变的且适用于世间万物的真理。 Davenportr：是与经验（Experience）、背景（Context ） 、 解 释 （ Interpretation ） 和 思 考 （reflection）结合在一起的信息，是一种可以随时帮助人们决策与行动的高价值信息。 Harris：是信息、文化脉络及经验的组合。 Feigenbaum：是经过消减、塑造、解释和转换的信息，即知识就是经过加工的信息。 Bernstein：由特定领域的描述、关系和过程组成。 Hayes-Roth：是事实
ACL2020放榜！事件抽取、关系抽取、NER、Few-Shot相关论文整理~
carrie_0307的博客
05-20 4671
重磅！ ACL2020 官方放榜啦！传送门: https://acl2020.org/program/accepted/ 小编在此整理出了一份事件抽取、关系抽取、命名实体识别、Few-Shot以及在模型中使用GCN和其他一些感兴趣相关论文的列表，希望可以为需要的小伙伴提供便利吖~ (深夜整理，就不放链接了/(ㄒoㄒ)/~~) 事件抽取 Cross-media Structured Common Space for Multimedia Event Extraction Discourse as a
Graph Few-Shot Learning via Knowledge Transfer 阅读笔记
靓仔博客
11-16 1275
对于具有挑战性的半监督节点分类问题，已经有了广泛的研究。GNN通过聚合邻居的信息来更新每个节点的表示；然而，大多数GNN层较浅，接收域有限，可能无法达到令人满意的性能，特别是当标记节点的数量相当少的时候。为了解决这一挑战，我们创新性地提出了一种图小样本学习(GFL)算法，该算法融合了从辅助图中学习的先验知识，以提高目标图的分类精度。 辅助图与目标图之间共享一个以节点嵌入和特定于图的原型嵌入函数为特征的可转移度量空间，促进了结构知识的转移。
【阅读笔记】Self-supervised Knowledge Distillation for Few-shot Learning
靓仔博客
04-19 1571
现实世界包含大量的对象类，一次学习所有这些是不可行的。小样本学习是一种很有前途的学习范式，因为它能够仅用少量样本快速学习无序分布。最近的工作 [7, 41] 表明，简单地学习一个好的特征嵌入可以胜过更复杂的元学习和度量学习算法，用于小样本学习。在本文中，我们提出了一种简单的方法来提高深度神经网络对小样本学习任务的表示能力。我们遵循一个两阶段的学习过程：首先，我们训练一个神经网络以最大化特征嵌入的熵，从而使用自监督辅助损失创建一个最佳输出流形。在第二阶段，我们通过将自监督双胞胎放在一起来最小化特征嵌入的熵，同
--incremental和--incremental-basedir区别
最新发布
07-13
在MySQL中，`--incremental` 和 `--incremental-basedir` 是两个用于增量备份的选项。 1. `--incremental`： `--incremental` 选项用于执行增量备份操作。增量备份是一种备份策略，只备份自上次完整备份或增量备份以来发生更改的数据。使用 `--incremental` 选项可以指定要进行增量备份的数据。 2. `--incremental-basedir`： `--incremental-basedir` 选项用于指定增量备份的基准目录。它在执行增量备份时指定了一个基准目录，该目录包含了之前的完整备份或增量备份数据。MySQL将根据这个基准目录来确定需要备份的增量数据。 区别总结： - `--incremental` 用于指定执行增量备份操作。 - `--incremental-basedir` 用于指定增量备份的基准目录。 这两个选项在MySQL的备份过程中扮演不同的角色。`--incremental` 用于指定执行哪些数据的增量备份，而 `--incremental-basedir` 则用于指定增量备份的基准目录。具体使用哪个选项取决于你的备份策略和需求。 如果还有其他问题，请随时提问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值