![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
增量学习
null_zhao
这个作者很懒,什么都没留下…
展开
-
Anatomy of Catastrophic Forgetting: Hidden Representations and Task Semantics
、2020.6 arxiv,一篇分析灾难遗忘的文章1.Introduction模型在non-stationary的数据分布上学习时,在旧数据上,有性能损失。除continual learning外,灾难性遗忘于多任务学习和标准监督学习中,面对分布偏移和数据增强时也存在。现有的很多方法都只在特定的设定下有效,对灾难性遗忘本身还是缺乏理解。本文贡献:通过使用代表性相似度、层冻结、层重置实验,探究遗忘如何影响网络的隐含表示。深层(靠近输出)是遗忘的主要来源。 使用层级标签结构的CIFAR原创 2020-09-18 16:37:10 · 368 阅读 · 0 评论 -
论文阅读:Editable Neural Networks
ICLR2020,居然是俄罗斯的经济学学校。文章关注的问题是,如何有效地纠正模型在特定错误上的表现,而不至于影响模型总体性能。本文称其为Editable Training,相当于是一个新问题。(感觉有点类似小样本增量学习?)1.Introduction大部分模型,对单个输入的预测要依赖所有的模型参数,做特定纠正很难不影响模型在其它输入上的性能表现。现有方法是:1.重训练 2.人工缓存(lookup table之类的)本文提出一种Editable Training的方法。2.Rela...原创 2020-08-05 17:34:07 · 663 阅读 · 0 评论 -
论文阅读:Faster ILOD:Incremental Learning for Object Detectors based on Faster RCNN
目标检测模型Faster RCNN的增量学习方法目前Faster Rcnn的目前唯一增量学习扩展方法,似乎是arxiv的。目标检测的增量学习框架研究很少,一个Fast Rcnn的,一个RetinaNet的1.Introduction原创 2020-07-26 16:53:11 · 1035 阅读 · 3 评论 -
Dropout as an Implicit Gating Mechanism For Continual Learning
Dropout as an Implicit Gating Mechanism For Continual Learning来自CVPR2020 workshop,Deepmind和华盛顿州立大学。搜了下发现此外还有三个华盛顿大学,这是综合排名最低的一个...早有研究发现,dropout后的网络,在类增量学习中,会遗忘地慢一些,然而对此并没有清晰的解释。本文研究了dropout和遗忘的关系,认为dropout相当于一个隐式的门机制,会给网络带来稳定性,这就是防止遗忘的关键。用门机制来做CL的原创 2020-06-29 16:08:00 · 487 阅读 · 0 评论 -
PackNet: Adding Multiple Tasks to a Single Network by Iterative Pruning
PackNet: Adding Multiple Tasks to a Single Network by Iterative PruningUIUC,CVPR2018。相比CPG,只有C部分。迭代剪枝+微调学习新任务。剪枝:weight-magnitude-based : 剪去每层absolute magnitedu最小的,50-75%。只剪当前任务。...原创 2020-06-09 21:50:20 · 803 阅读 · 0 评论 -
论文阅读:Piggyback: Adapting a Single Network to Multiple Tasks by Learning to Mask Weights
这是将单个网络扩展为多任务的方法,假设一个全连接线性模型,这个模型是已经训练好的,固定的。实数mask ,大小等于; 训练时,固定,训练,其反向传播公式如下: 将用阈值二值化,得任务K的mask ; 推断时...原创 2020-05-29 21:34:59 · 1257 阅读 · 1 评论 -
论文阅读:Task-Free Continual Learning
Task-Free Continual Learning来自CVPR2019,比利时鲁汶大学 。当前continual learning常假设,一次一个任务,所有当前数据可用,之前数据不可用。这个条件现实不常满足。本文提出的系统学习流数据,分布不断变化,不同任务间没有区分。本文方法基于Memory Aware Synapses,提供了以下协议将其转化为online的:何时 更新重要权重 更新时 用哪个数据 如何在更新时 累积权重重要性该模型在以下任务上的实验结果展现了有效性:(自)监督原创 2020-05-28 00:10:25 · 1609 阅读 · 0 评论 -
论文阅读:Compacting, Picking and Growing for Unforgetting Continual Learning
Compacting, Picking and Growing for Unforgetting Continual Learning这是2019年的NIPS的文章,来自台湾中央研究院资讯科学研究所。这篇关注深度模型压缩、关键权重选择、渐进网络扩展。呼应标题的压缩、选择、成长。作者提出一个简单的方法,避免遗忘,并且之累积的知识会帮助建立一个更好的模型(比起重新训练来说)。看起来不只是类增量的研究,这也和标题不是incremental learning而是Continual lifelong le原创 2020-05-16 21:16:47 · 826 阅读 · 1 评论 -
论文阅读:IL2M: Class Incremental Learning With Dual Memory
IL2M: Class Incremental Learning With Dual Memory1.简介双记忆的类增量学习2.相关工作3.类增量学习范式4.方法5.实验原创 2020-05-14 23:58:26 · 2270 阅读 · 1 评论