Continual learning 学习笔记【持续更新】

最新推荐文章于 2024-03-16 16:37:08 发布
最新推荐文章于 2024-03-16 16:37:08 发布
阅读量3.7k 收藏 50
点赞数 7
分类专栏： continual learning life long learning 文章标签： 深度学习 继续学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42419002/article/details/103689025
版权

文章目录

最近更新时间：2020年1月3日 23:51:56

更新时间：2020年10月26日 15:46:35 添加1.5

continual learning 学习笔记

欢迎大家，加群交流：955171117

1. 相关资料的主页

1.1. ContinualAI主页—— 讨论交流社区

continualai.org 主页：https://www.continualai.org/
continualai.org 创始人的一个关于continual learning 的youtube 演讲：https://www.youtube.com/channel/UCD9_bqN3gX-TLxcr47vvMmA/playlists

1.2. 开源代码—— continual learning 的 benchmark 代码

https://github.com/GT-RIPL/Continual-Learning-Benchmark

1.3. 开源代码—— c

最低0.47元/天 解锁文章
轮子去哪儿了
关注
  • 7
    点赞
  • 踩
  • 50
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
持续学习Continual Learning原理与代码实例讲解
禅与计算机程序设计艺术
05-27 409
人类能够不断学习新的知识和技能，而不会忘记之前学过的内容。然而，传统的机器学习模型在学习新任务时，往往会遭受灾难性遗忘(catastrophic forgetting) 的问题，即在新任务上表现良好的同时，却丧失了在旧任务上的性能。为了解决这个问题，持续学习(Continual Learning) 应运而生。持续学习旨在使机器学习模型能够像人类一样，在不忘记之前知识的情况下，不断学习新的知识和技能。持续学习是指机器学习模型在顺序学习多个任务时，能够保持对先前任务的性能，并有效地学习新任务的能力。
continual-learning-papers:持续学习论文列表，由 ContinualAI 策划
08-03
持续学习论文 持续学习论文列表，由 ContinualAI 策划。 在262篇论文中搜索！ 您可以浏览此文件中的列表或在上以交互方式浏览。 Slack，随时了解最新的持续学习新闻。 访问 Continua AI wiki → 目录 持续的小样本学习 持续元学习 持续强化学习 持续顺序学习 学位论文 生成重放方法 混合方法 元持续学习 指标和评估 神经科学 其他 正则化方法 排练方法 审查论文和书籍 机器人 添加新纸张 论文列表由 Zotero 小组维护。 您可以加入该小组并帮助我们保持更新（请参阅下一节）。 如果你不想加入这个小组，你可以简单地打开一个 Github issue 向我们推荐一篇新论文（甚至不止一篇）。 我们会尽快将其添加到列表中。 打开一个新的 Github 问题。 附上包含要包含在列表中的论文的围兜文件。 如果您没有围脖文件，只需向我们提供论文的链接即可。
科技巨头Facebook推出能自由对话的机器人，技术远超GPT-3
BeaconEducation的博客
02-18 4038
距离现在差不多一年前的光景，一款叫做BB1.0（BlenderBot 1.0，后文简称BB1.0）的人工智能机器人被Facebook创造了出来。
持续学习-Continual learning
weixin_35848967的博客
12-24 4425
当前主流的针对神经网络模型的持续学习方法可以分为一下几类： 1. Regularization： 在网络参数更新的时候增加限制，使得网络在学习新任务的时候不影响之前的知识。这类方法中，最典型的算法就是EWC。 EWC https://github.com/GMvandeVen/continual-learning 2. Ensembling： 当模型学习新任务的时候，增加新的模型（可以是显示或者隐式的方法），使得多个任务实质还是可以对应多个模型，最后把多个模型的预测进行整合。增加子模型的方式固然好，但是没多
2021李宏毅机器学习课程-YouTube第十一部分、终身学习Life long learning
weixin_52836217的博客
01-10 376
2021李宏毅机器学习课程-YouTube第十一部分、终身学习Life long learning
Gradient Episodic Memory for Continual Learning 论文阅读+代码解析
qq_45478482的博客
12-16 2813
一. 介绍 在开始进行监督学习的时候我们需要收集一个训练集Dtr={(xi,yi)}i=1nD_{tr}=\{(x_i,y_i)\}^n_{i=1}Dtr​={(xi​,yi​)}i=1n​。大部门的监督学习都假定每一个例子都是从一个固定的概率分布P中进行独立同分布的采样。监督学习的目标为构造一个模型fff去预测目标向量y通过x。为了实现这种假设，监督学习通常采用经验风险最小化原则（ERM），fff在这种情况下为1∣Dtr∣∑(xi,yi)∈Dtrl(f(xi),yi)\frac{1}{|D_{tr}|}\
Continual Learning 必读文章
02-15
Continual Learning 是机器学习中的一种重要技术，旨在解决神经网络在学习新任务时遗忘之前任务的信息的问题。 Continual Learning 的目标是使神经网络能够 lifelong learning，即在学习新任务时，不会遗忘之前的...
Online Continual Learning in Image Classification An Empirical
09-23
在线持续学习（Online Continual Learning）在图像分类中的应用是一个重要的研究领域，它结合了机器视觉、机器学习和深度学习的理论与实践。这个领域的目标是让机器学习模型能够在不断接收新数据的同时，保持对旧...
continual_learning_papers:持续学习中的相关论文
05-01
要为存储库做出贡献，请遵循的过程您可以直接在背面使用我们的bib.tex大纲持续少量学习元持续学习终身强化学习连续生成建模应用领域论文图书馆工作坊 经典法语中的罗伯特·M·罗比（Robert M.） [bib] 在连接主义...
Online Continual Learning in Image Classification An
09-25
在线持续学习（Online Continual Learning）在图像分类领域中，主要研究如何从一个连续的数据流和任务中学习图像分类，其中任务可能包括不同的类别（类增量）或数据非平稳性（域增量）。这种学习方式的关键挑战之一...
continual learning
qifeiyang112358的博客
09-26 5154
关注持续学习，终身学习和永动学习。   一、持续学习（https://deepmind.com/blog/enabling-continual-learning-in-neural-networks/） 持续学习通过任务执行结果（参数学习）的增量记忆（模拟大脑），将知识应用于新的任务中。大脑的记忆分为缓慢记忆和突出强化，重要任务的神经元连接不会被覆盖。同理，在神经网络中，在学习任务之后，我们...
website:ContinualAI官网
08-03
持续人工智能 - 网站 Continual AI 是 AI 中持续/终身深度学习的第一个中心！ :-) 该项目的目的是为研究人员、开发人员和 AI 爱好者提供一个起点，他们有共同的兴趣或愿意学习更多和/或为持续/终身学习做出贡献。 我们正在上构建一个开源的协作 wiki，并创建一个 CL 爱好者社区！ 今天加入我们吧！ :D 如何贡献 为项目加星标 :-) 加入我们的 Slack 社区： : 开始从浏览器更改 *.md 文件（使用“预览”按钮） 提交更改！ 如何贡献（像专业人士一样） 为项目加星标 :-) 加入我们的 Slack 社区： : 进入文件夹： cd website-wiki 如果你没有安装 gem 和 bundler： apt-get install rubygems gem install bundler 安装 Ruby 宝石： bundle in
OCDVAEContinualLearning:本文的开源代码-Source code learning
03-25
通过生成性重播和开放集识别实现我们的论文《统一概率深度持续学习》的代码 这个软件库包含了我们PyTorch代码： Martin Mundt，Sagnik Majumder，Iuliia Pliushch和Visvanathan Ramesh： “通过生成的重放和开放集识别实现统一的概率深度持续学习” 该代码使用增长的单头分类器（参见图1a），基于近似后验的开放集识别机制（参见图1b的潜在空间，使CDVAE成为OCDVAE模型）实现了我们提出的统一（O）CDVAE模型。以统计异常值拒绝率重播（请参见图1c），以进行持续学习。 我们还为抽象数据集类提供了代码，可以将现有数据集转换为类增量式连续学习方案或跨数据集连续学习设置。 要求 我们列出了所需的主要python软件包。 原则上，我们的代码应与许多不同的版本一起使用。 为了在以后的时间点具有完全的可重复性，我们还在撰写本文时为机器的精确
计算机科学和生物学角度的Continual/Lifelong Learning的简要背景
orDream的博客
02-26 825
背景 在本页中，您将从计算机科学和生物学角度中找到关于持续/终身学习的简要背景。 内容 1.简介2.生物学前瞻   2.1简单学习   2.2联想学习   2.3神经机制 什么是持续/终身学习？ 持续学习（CL）建立在对外部世界不断学习和自适应学习的基础上，并使更复杂的技能和知识得以自主增量发展。 在机器学习的背景下，它意味着能够平滑地更新预测模型，以考虑不同的任务和数据分布，...
机器学习学习笔记-持续学习（Continual Learning/ Life-long Learning）
v-space的博客
01-16 3734
任务： 将旧任务学习的知识应用到新的任务上，同时在旧任务上的表现不会出现太大的损失。 问题： （1）将旧任务的知识利用，从而更快适应新任务。 （2）在学习新任务的同时在旧任务上的表现不会出现太大下降。 两个任务的关系： （1）新旧任务目标一致，但数据分布不同。 如：普通话的语音识别和方言的语音识别，建模单元是一样的，输入的特征空间分布会不同。 （2）新旧任务目标不一致，但相似。 如：普通话的语音识别和英语语音识别，建模单元不一样，输入的特征空间分布也不同，但都是语音识别任务。 （3）新旧任务目标不相似。 如
李宏毅：Life Long Learning
LarsGyonX的博客
11-26 686
Life Long Learing 也是continual Learning，也是incremental learningTransfer Learning：在任务一上学到的内容Transfer到任务二，关注点在Task2Life-Long Learning：学完Task2以后Task1还能否work。
连续学习总结（传统连续学习continual learning和图连续学习 graph continual learning）
最新发布
salaryhhhh的博客
03-16 1155
连续学习综述，连续学习的背景，介绍，发展现状（正则化，重播，参数隔离）。图连续学习的背景，介绍，发展现状（正则化，重放，结构），连续学习发展问题和未来发展展望。
2020年 ICLR 国际会议最终接受论文(poster-paper)列表(二)
热门推荐
yinizhilianlove的博客
02-21 1万+
来源：AINLPer微信公众号（点击了解一下吧） 编辑: ShuYini 校稿: ShuYini 时间: 2020-02-21     2020年的ICLR会议将于今年的4月26日-4月30日在Millennium Hall, Addis Ababa ETHIOPIA（埃塞俄比亚首都亚的斯亚贝巴 千禧大厅）举行。     2020年ICLR会议（Eighth International Con...
连续性学习论文及代码汇总
追随梦想，实现梦想
04-30 540
Continual learning 学习笔记【持续更新】 上面这篇博客介绍的非常详细了。
Continual Learning Through Synaptic Intelligence
03-31
Continual learning through synaptic intelligence is a form of machine learning that mimics the way the human brain learns and adapts to new information. It involves the creation of artificial neural networks that are capable of learning from new data without forgetting previously learned knowledge. In traditional machine learning, a model is trained on a fixed dataset, and once training is complete, the model is deployed and cannot be updated or improved without retraining on a new dataset. This approach is not suitable for applications where new data is constantly being generated or where the model needs to adapt to changing conditions. Continual learning through synaptic intelligence addresses this limitation by allowing models to learn incrementally from new data, while retaining previously learned knowledge. This is achieved through the use of dynamic synapses that can adapt and change in response to new input. In a continual learning system, the model is trained on a small initial dataset, and as new data becomes available, the model updates its synapses to incorporate this information. The synapses are designed to be flexible and adaptive, allowing the model to learn new concepts and patterns without overwriting previously learned knowledge. One of the key benefits of continual learning through synaptic intelligence is that it can improve the overall accuracy and robustness of machine learning models over time. By continually updating and refining the model based on new data, the model can adapt to changes in the environment or user behavior, leading to better performance and more accurate predictions. Overall, continual learning through synaptic intelligence is an exciting area of research that has the potential to revolutionize the field of machine learning by enabling models to learn and adapt in a more human-like way.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值