![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
增量学习
文章平均质量分 91
Chris_zhangrx
读书郎
展开
-
浅谈迁移学习,增量学习
文章目录迁移学习迁移学习与 domain adaptation 域适应迁移学习与 finetune 微调增量学习增量学习与迁移学习最近在看一些增量学习的论文,在学习的过程中不免会遇到增量学习与迁移学习的相关概念的联系和区别,下面是个人的一些总结和理解,只是概念理解层面,没有深入到算法层面,若有不当之处还请留言交流指正。在传统分类任务中,为了保证训练得到的分类模型具有准确性和高可靠性,由两个基本...原创 2018-12-04 12:11:28 · 9242 阅读 · 4 评论 -
《Distilling the Knowledge in a Neural Network》 论文阅读笔记
原文链接:https://arxiv.org/abs/1503.02531 第一次接触这篇文章是在做网络结构的时候,对于神经网络加速,知识蒸馏也算是一种方法,当时连同剪纸等都是网络压缩的内容,觉得这些方法涉及数学概念太多,就没有深入了解,直到最近看了几篇增量学习相关的论文,才发现原来知识蒸馏的思想对增量学习也影响那么大,所以再次遇见就决定读一读这篇文章,因为文中做了图像和语音两个方面的实验,这...原创 2018-12-04 16:11:17 · 2713 阅读 · 1 评论 -
《Learning without Forgetting》 论文阅读笔记
文章目录1. 引言2. 相关工作2.1 方法对比2.2 局部相关方法2.3 同时期的方法3. 不遗忘学习原文链接: Learning without Forgetting1. 引言在很多实际的视觉应用中,都需要在保留旧知识的基础上学习新的知识。例如,为了建筑工地安全,已经开发了一个服装安全检测系统,可以检测工作人员是否穿了反光背心或者安全帽,但是项目负责人想系统也可以检测出工作人员是否穿了合...原创 2018-12-05 00:11:28 · 6814 阅读 · 0 评论 -
《iCaRL: Incremental classifier and Representation Learning》 阅读笔记
论文原文链接:https://arxiv.org/abs/1611.077251. 引言自然界的视觉系统天生就是可增量的:新的视觉信息在保留已学习到的知识的情况下不断被学习到。例如,一个小孩子可以去动物园学习到很多新的动物种类,而不会因此忘记他家里的宠物种类。相反,很多人工目标识别系统都只能用想要识别的所有分类一次性训练得到。最起码,一个视觉分类系统应该要具有增量学习新类的能力,也称这种能力...原创 2018-12-05 15:49:30 · 4086 阅读 · 0 评论 -
《Revisiting Distillation and Incremental Classifier Learning》 论文笔记
原文链接:https://arxiv.org/abs/1807.02802本文主要就是对于 iCaRL这篇论文的再研究,设置了一些研究型实验推翻了之前 iCaRL 论文中的一些说法,最终得出结论,iCaRL 之所以行之有效的主要原因是使用了知识蒸馏(Knowledge diatillation)。并对于知识蒸馏存在的分类器偏差(bias in classifiers)问题,提出了动态阈值移动(d...原创 2018-12-05 19:55:27 · 684 阅读 · 0 评论 -
《Incremental Classifier Learning with Generative Adversarial Networks》 阅读笔记
原文链接: Incremental Classifier Learning with Generative Adversarial Networks本文主要是解决增量学习中灾难性遗忘的问题,文中指出灾难性遗忘主要是因为过去的数据在训练时得不到。通常的方法是先保留一部分过去类别的样本,然后配合蒸馏正则化来平衡新旧类别之间的关系。但是这些方法主要有四个问题:1)Loss 函数的设计对分类器来说都不...原创 2018-12-06 13:46:05 · 1243 阅读 · 3 评论 -
增量学习——文章汇总
WorkshopsContinual learning workshop NeurIPS 2018Papers2018 Memory Replay GANs: learning to generate images from new categories without forgetting(NIPS2018) [paper] [code] Rotate your Networks:...原创 2018-12-27 14:12:01 · 3313 阅读 · 5 评论