Continual learning 学习笔记【持续更新】

最新推荐文章于 2023-05-08 11:01:17 发布
最新推荐文章于 2023-05-08 11:01:17 发布
阅读量4k 收藏 50
点赞数 7
分类专栏： continual learning life long learning 文章标签： 深度学习 继续学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42419002/article/details/103689025
版权
这篇博客整理了Continual Learning的学习资源，包括ContinualAI社区、benchmark代码库、论文总结以及一系列视频教程，如台大李宏毅教授的终身学习课程，帮助读者深入理解和实践持续学习。
摘要由CSDN通过智能技术生成

文章目录

最近更新时间：2020年1月3日 23:51:56

更新时间：2020年10月26日 15:46:35 添加1.5

continual learning 学习笔记

欢迎大家，加群交流：955171117

1. 相关资料的主页

1.1. ContinualAI主页—— 讨论交流社区

continualai.org 主页：https://www.continualai.org/
continualai.org 创始人的一个关于continual learning 的youtube 演讲：https://www.youtube.com/channel/UCD9_bqN3gX-TLxcr47vvMmA/playlists

1.2. 开源代码—— continual learning 的 benchmark 代码

https://github.com/GT-RIPL/Continual-Learning-Benchmark

1.3. 开源代码—— c

最低0.47元/天 解锁文章
轮子去哪儿了
关注
专栏目录
连续学习总结（传统连续学习continual learning和图连续学习 graph continual learning）
salaryhhhh的博客
03-16 1479
连续学习综述，连续学习的背景，介绍，发展现状（正则化，重播，参数隔离）。图连续学习的背景，介绍，发展现状（正则化，重放，结构），连续学习发展问题和未来发展展望。
awesome-lifelong-continual-learning:终身持续机器学习领域的论文，博客，数据集和软件列表
05-07
很棒的持续学习/很棒的终身学习 持续学习的目的是让机器复制类似于人类的学习，使他们能够依次学习新的任务和观察结果，同时仍然能够保留从过去的经验中获得的知识。 以下是终身/连续/顺序/增量式机器学习领域的论文，博客，数据集和软件的列表。 内容 文件 理论与调查 基于梯度的神经网络中灾难性遗忘的实证研究。 （2013） 谈论神经网络中的遗忘问题和使用辍学的优势 连接主义网络中的灾难性干扰：顺序学习问题。 （1989） 最早的一篇介绍学习模块中遗忘概念的论文 神经网络的持续终身学习：回顾（2018年） 详尽的调查论文，介绍了持续学习或终生学习的不同方法 使记忆持久：突触标记和捕获假设。 （2011） 突触学习的神经科学观点 自组织神经模式识别机器的大规模并行体系结构（1989年） 讨论稳定性（保留过去知识的能力）和可塑性（快速学习新事物的能力）之间的权衡 终身机器学习（2016）
Three scenarios for continual learning
柯同学要谦虚
08-23 674
Three scenarios for continual learning Standard artificial neural networks suffer from the well-known issue of catastrophic forgetting, making continual or lifelong learning difficult for machine learning. Three Continual Learning Scenarios These scenarios
(Few-shot )Review:Learning from the Past:Continual Meta-Learning with Bayesian Graph Neural network
Bryce1010's Blog
12-02 1649
1. 提出问题 现有的基于图网络做meta-learning的方法会有Catastrophic forgetting 和 insufficient robustness的问题， 导致不嗯呢个保持long-term的knowledge，并会造成严重的错误积累。 Catastraphic forgetting insufficient robustness 2. 提出解决方案 针对Catast...
李宏毅：Life Long Learning
LarsGyonX的博客
11-26 703
Life Long Learing 也是continual Learning，也是incremental learningTransfer Learning：在任务一上学到的内容Transfer到任务二，关注点在Task2Life-Long Learning：学完Task2以后Task1还能否work。
website:ContinualAI官网
08-03
持续人工智能 - 网站 Continual AI 是 AI 中持续/终身深度学习的第一个中心！ :-) 该项目的目的是为研究人员、开发人员和 AI 爱好者提供一个起点，他们有共同的兴趣或愿意学习更多和/或为持续/终身学习做出贡献。 我们正在上构建一个开源的协作 wiki，并创建一个 CL 爱好者社区！ 今天加入我们吧！ :D 如何贡献 为项目加星标 :-) 加入我们的 Slack 社区： : 开始从浏览器更改 *.md 文件（使用“预览”按钮） 提交更改！ 如何贡献（像专业人士一样） 为项目加星标 :-) 加入我们的 Slack 社区： : 进入文件夹： cd website-wiki 如果你没有安装 gem 和 bundler： apt-get install rubygems gem install bundler 安装 Ruby 宝石： bundle in
Continual Learning with Deep Generative Replay笔记
juggle_gap_horse的博客
03-17 5703
1.引言 人工神经网络容易发生灾难性遗忘。常常通过重放过去任务的真实样本来联合优化网络参数，但这种方法占用内存，可能在现实部署中不顺利。基于脑科学的研究指出，人脑皮层的海马体不仅仅是一个简单的记忆回放缓冲区。记忆痕迹的重新激活会产生相当灵活的结果。记忆的改变和重新激活会导致巩固记忆的缺陷，而共同刺激海马体中的某些记忆痕迹会产生从未经历过的‘’虚假记忆‘’。这些特性表明，海马体与生成模型的并行性比回放缓冲区更好（这里解释为什么用生成式数据替代真实样本，源自于海马体研究的启发） 所以我们提出了一种方法来顺序训练
【论文阅读笔记】2020NeurIPS终身学习（Lifelong /continual learning）相关论文列表
zincrain的博客
12-08 1248
GAN Memory with No Forgetting已读待写； Calibrating CNNs for Lifelong Learning已读待写； Improved Schemes for Episodic Memory-based Lifelong Learning已读待写； Lifelong Policy Gradient Learning of Factored Policies for Faster Training Without Forgetting强化学习相关，暂未读懂； Cont.
论文笔记：Insights from the Future for Continual Learning
weixin_39901859的博客
06-30 545
文章目录AbstractIntroductionSettingGhost modelBase model for continual learningCapacitating ghost model for future classesGeneratorComplete classifierLatent-space regularizationComplete strategy Abstract 持续学习旨在按顺序学习任务，对旧学习样本的存储具有（通常很严格的）约束，而不会遭受灾难性的遗忘。 本文提出了一种
Continual-Learning-Benchmark:使用流行的持续学习算法评估三种类型的任务转移
05-13
持续学习基准 使用流行的持续学习算法评估三种类型的任务转移。 该存储库使用PyTorch实现并模块化了以下算法： EWC： ，（克服神经网络中的灾难性遗忘） 在线EWC： ， SI： ，（通过突触智能持续学习） MAS： ，书面（“内存感知突触：学习（不）忘记的内容”） 创业板： ，（用于持续学习的梯度情景记忆） （更多即将到来） 将以上所有算法与具有相同静态内存开销的以下基准进行比较： 天真彩排： L2： ， 关键表： 如果此存储库对您的工作有所帮助，请引用： @inproceedings{Hsu18_EvalCL, title={Re-evaluating Continual Learning Scenarios: A Categorization and Case for Strong Baselines}, author={Yen-Chang Hsu a
continual-learning-papers:持续学习论文列表，由 ContinualAI 策划
08-03
持续学习论文 持续学习论文列表，由 ContinualAI 策划。 在262篇论文中搜索！ 您可以浏览此文件中的列表或在上以交互方式浏览。 Slack，随时了解最新的持续学习新闻。 访问 Continua AI wiki → 目录 持续的小样本学习 持续元学习 持续强化学习 持续顺序学习 学位论文 生成重放方法 混合方法 元持续学习 指标和评估 神经科学 其他 正则化方法 排练方法 审查论文和书籍 机器人 添加新纸张 论文列表由 Zotero 小组维护。 您可以加入该小组并帮助我们保持更新（请参阅下一节）。 如果你不想加入这个小组，你可以简单地打开一个 Github issue 向我们推荐一篇新论文（甚至不止一篇）。 我们会尽快将其添加到列表中。 打开一个新的 Github 问题。 附上包含要包含在列表中的论文的围兜文件。 如果您没有围脖文件，只需向我们提供论文的链接即可。
2021李宏毅机器学习课程-YouTube第十一部分、终身学习Life long learning
weixin_52836217的博客
01-10 386
2021李宏毅机器学习课程-YouTube第十一部分、终身学习Life long learning
台大李宏毅PPT：什么是 Lifelong learning, Continual Learning, Never Ending Learning, Incremental Learning，CL
轮子去哪儿了
12-24 4898
文章目录视频链接：台大 李宏毅 PPT_lifelong learning / continual learning1. 什么是灾难性遗忘？2. 解决方法：为什么不使用 multi-task trainingEWC (Elastic Weight Consolidation)Generation DatasKnowledge trandfer3. evaluation 评价方式Model Expa...
持续学习-Continual learning
weixin_35848967的博客
12-24 4538
当前主流的针对神经网络模型的持续学习方法可以分为一下几类： 1. Regularization： 在网络参数更新的时候增加限制，使得网络在学习新任务的时候不影响之前的知识。这类方法中，最典型的算法就是EWC。 EWC https://github.com/GMvandeVen/continual-learning 2. Ensembling： 当模型学习新任务的时候，增加新的模型（可以是显示或者隐式的方法），使得多个任务实质还是可以对应多个模型，最后把多个模型的预测进行整合。增加子模型的方式固然好，但是没多
continual learning
qifeiyang112358的博客
09-26 5174
关注持续学习，终身学习和永动学习。   一、持续学习（https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/） 持续学习通过任务执行结果（参数学习）的增量记忆（模拟大脑），将知识应用于新的任务中。大脑的记忆分为缓慢记忆和突出强化，重要任务的神经元连接不会被覆盖。同理，在神经网络中，在学习任务之后，我们...
机器学习学习笔记-持续学习（Continual Learning/ Life-long Learning）
v-space的博客
01-16 3843
任务： 将旧任务学习的知识应用到新的任务上，同时在旧任务上的表现不会出现太大的损失。 问题： （1）将旧任务的知识利用，从而更快适应新任务。 （2）在学习新任务的同时在旧任务上的表现不会出现太大下降。 两个任务的关系： （1）新旧任务目标一致，但数据分布不同。 如：普通话的语音识别和方言的语音识别，建模单元是一样的，输入的特征空间分布会不同。 （2）新旧任务目标不一致，但相似。 如：普通话的语音识别和英语语音识别，建模单元不一样，输入的特征空间分布也不同，但都是语音识别任务。 （3）新旧任务目标不相似。 如
Continual Learning/Lifelong Learning/Incremental Learning
最新发布
Si_ang_的博客
05-08 4092
朴素定义：持续学习就是随着时间的推移，不断地处理现实世界中连续的信息流（这些信息逐渐可用），在学习新知识的同时，还保留甚至整合优化旧知识的能力。精确理解：终身学习系统被定义为能够从连续的信息流中学习的自适应算法，随着时间的推移，这些信息被逐渐可用，并且需要学习的任务数量没有预定义（可以是无限的），重要的是，对新信息的调节应该在没有灾难性遗忘或干扰的情况下发生。通俗理解：一个模型学习随着时间推移不断增加的序列任务。
【论文阅读】实验结果分析 2019_Contiual learning with hypernetwork
轮子去哪儿了
02-19 1587
文章目录【论文阅读】实验结果分析 2019_Contiual learning with hypernetwork1. 超级网络的代码实现1.1. Toy Example 回归任务的学习1.1.1. 一些说明：1.1.2. 数据集的自定义方法：1.1.3. 训练命令如下：1.1.4. 训练结果可视化如下图：1.1.5. 训练结果的 MSE 如下图：1.1.1. 网路模型1.2. MNIST 数字分...
Continual Learning Through Synaptic Intelligence
03-31
Continual learning through synaptic intelligence is a form of machine learning that mimics the way the human brain learns and adapts to new information. It involves the creation of artificial neural networks that are capable of learning from new data without forgetting previously learned knowledge. In traditional machine learning, a model is trained on a fixed dataset, and once training is complete, the model is deployed and cannot be updated or improved without retraining on a new dataset. This approach is not suitable for applications where new data is constantly being generated or where the model needs to adapt to changing conditions. Continual learning through synaptic intelligence addresses this limitation by allowing models to learn incrementally from new data, while retaining previously learned knowledge. This is achieved through the use of dynamic synapses that can adapt and change in response to new input. In a continual learning system, the model is trained on a small initial dataset, and as new data becomes available, the model updates its synapses to incorporate this information. The synapses are designed to be flexible and adaptive, allowing the model to learn new concepts and patterns without overwriting previously learned knowledge. One of the key benefits of continual learning through synaptic intelligence is that it can improve the overall accuracy and robustness of machine learning models over time. By continually updating and refining the model based on new data, the model can adapt to changes in the environment or user behavior, leading to better performance and more accurate predictions. Overall, continual learning through synaptic intelligence is an exciting area of research that has the potential to revolutionize the field of machine learning by enabling models to learn and adapt in a more human-like way.
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值