读书笔记
文章平均质量分 93
谷粤狐
这个作者很懒,什么都没留下…
展开
-
读书笔记-增量学习-LwF_Learning without Forgetting
2017的经典论文,Learning without Forgetting(LwF)。在多篇论文中被用作实验比较的经典算法。作者认为Fine Tuning / Duplicating and Fine Tuning / Feature Extraction / Joint Training这几种基于修改参数的算法均存在性能或效率不高的问题。实验证明,作者提出的LwF算法可以克服上述算法的不足。LwF实现增量学习的核心是对参数的更新方法,文章介绍并比较了几种经典增量学习的算法Fine Tuning /原创 2020-11-09 16:02:51 · 4678 阅读 · 5 评论 -
读书笔记-增量学习-iCaRL: Incremental Classifier and Representation Learning
一篇2017年的经典文章,iCaRL: Incremental Classifier and Representaion Learning。作者提出了一种增量学习实现方法简称iCaRL,这是一种增加识别种类的学习算法。想法是构建并管理一个exemplar set(旧数据的代表性样本集合),在增量学习阶段,把新数据和该exemplar set混合作为输入数据,模型训练结束后,再把部分新数据添加到exemplar set,并剔除部分旧数据(因为内存有限)。在未增量的模型中,执行以下算法:x是输入数据原创 2020-11-08 18:45:57 · 4559 阅读 · 4 评论 -
读书笔记-多任务学习-A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification
一篇2017年的论文,A Novel Multi-task Deep Learning Model for Skin Lesion Segmentation and Classification,基于多任务学习的皮肤病变分割与分类。作者认为,多任务学习模型通过利用任务之间的共性和差异来同时解决不同的任务。与单独训练单个模型相比,这可以提高特定任务模型的学习效率和潜在的预测准确性。在多任务学习体系结构中,输入的皮肤图像可以与描述病灶不同特征的多个标签相关联。 然后,可以将这种多任务技术用于病变的分割和病变原创 2020-10-16 16:04:29 · 761 阅读 · 0 评论 -
读书笔记-增量学习-EEIL_End-to-End Incremental Learning
一篇2018年的论文:End-to-End Incremental Learning。为了使模型实现增量学习,把新、旧数据一起重新训练会导致时间、存储成本等一系列问题。作者提出的方法仅使用新数据与部分代表性的旧数据。基于Distillation知识蒸馏从旧数据中提取代表性样本、Cross entropy交叉熵学习新数据。题目的End-to-End指的是能同时训练更新Classification分类器和代表性样本。作者认为,一个拥有增量学习能力的深度神经网络模型应该拥有以下特征: Ability t原创 2020-10-13 16:13:11 · 1853 阅读 · 0 评论 -
读书笔记-增量学习-A CNN-Based Broad Learning System
一篇2018年关于基于CNN的增量学习论文:A CNN-Based Broad Learning System。对计算机视觉来说,作者提出的CNN-Based Broad Learning System(CNNBLS)比 Broad Learning System(BLS)更有效。其中用卷积层和最大池化层提取特征,用principal component analysis(PCA)主成分分析法对特征降维,最后使用Ridge regression岭回归法得到分类结果。与BLS和RVFLNN相似,作者.原创 2020-10-11 16:19:40 · 1800 阅读 · 5 评论 -
读书笔记-增量学习-Broad Learning System: An Effective and Efficient Incremental Learning System
一篇2018年澳门大学科技学院前院长陈俊龙先生的论文: Broad Learning System: An Effective and Efficient Incremental Learning System Without the Need for Deep Architecture。作者在题目已表明这是一种颠覆以往纵向神经网络架构的有效且高效的增量学习系统。传统的神经网络通常因为在 filters 和 layers 间有大量参数存在,导致模型训练与扩展阶段十分耗时。因此作者提出Broad Learni原创 2020-10-11 01:40:31 · 4823 阅读 · 6 评论 -
读书笔记-增量学习-Large Scale Incremental Learning
一篇2019年关于增量学习Incremental Learning的论文。论文的应用场景是大规模(Class)数据集的增量学习。文中提及现有的增量学习方法均存在两个致命问题:the data imbalance between the old and new classes(新、旧类的数据不平衡) the increasing number of visually similar classes(数据集中相似的类数量增加)针对这两个问题,作者发现整个模型的最后一个全连接层对新的数据类别有严重的偏原创 2020-10-09 23:56:37 · 1345 阅读 · 0 评论