持续学习、终身学习、情景记忆、记忆模块论文总结——梯度情景记忆促进持续学习

最新推荐文章于 2024-04-28 08:25:13 发布
最新推荐文章于 2024-04-28 08:25:13 发布
阅读量582 收藏 1
点赞数
分类专栏： 机器人操作持续学习论文 文章标签： 深度学习 机器学习 迁移学习 集成学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53610475/article/details/125874760
版权

Gradient Episodic Memory for Continual Learning

梯度情景记忆促进持续学习

1.相关信息：

1.论文目标：

针对大量任务、少量样本的持续学习，在MNIST和CIFAR-100数据集上实验

2.重要细节：

  • 前提假设：在每个任务内部，数据独立同分布
  • 数据表示：三元组：输入，任务标识符、输出
  • 前向迁移：学习一个新任务，对未来学习后续任务的影响
  • 后向迁移：学习一个新任务，对之前已经学习的任务的影响
  • 情景记忆模块：存储过去任务的数据对
  • 持续学习实现：所有任务共用参数，保证学习新任务更新参数时，对记忆中过去任务数据的损失不升高，从而解决灾难性遗忘
  • 衡量损失变化：用梯度方向夹角衡量，余弦值大于等于0为同向，不会影响过去任务的性能，具有良好的后向迁移能力
  • 梯度更新方向修正：选择与原参数更新最相近（用L2范数衡量距离），且满足衡量损失变化条件的投影
  • 二次规划及其对偶问题

3.启发与思考：

  • 增加任务描述符：更详细的任务描述。通过任务描述符衡量不同任务之间的相似性，推断任务之间的关系，清楚类似任务间的歧义
    • 相似度高的：学习新任务时可以加快学习速度，甚至实现0次学习
    • 相似度低的：重点关注后向迁移问题中，衡量损失变化，而不必衡量相似度高的任务的损失变化
  • 高级内存管理：构建过去任务的核心集
阿航626
关注
专栏目录
深度学习知识点全面总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-05 26万+
本文详细介绍深度学习概念及原理，参考网上相关资料汇总，内容包含众多章节，包括神经网络基础及常见深度学习网络结构介绍，用于个人学习总结，适合深度学习初学者学习。同时介绍机器学习常见的分类算法：SVM、神经网络、随机森林、逻辑回归、KNN、贝叶斯。常见的监督学习算法：感知机、SVM、人工神经网络、决策树、逻辑回归.........
机器学习知识点全面总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
04-12 13万+
机器学习按照模型类型分为监督学习模型、无监督学习模型和概率模型三大类,文章对十大机器学习算法进行详细介绍并阐述机器学习其他概念问题，可作为机器学习初学者学习使用。
【论文笔记】Gradient Episodic Memory for Continual Learning
lasetd的博客
06-22 1499
论文笔记
【持续学习系列(七)】Gradient Episodic Memory for Continual Learning
weixin_45225032的博客
01-05 1182
论文提出了一个名为GEM的模型来解决持续学习中的灾难性遗忘问题，并在实验中展示了其有效性。GEM通过使用情节记忆来最小化对旧任务性能的负面影响，并允许有益的知识传递。尽管GEM在实验中表现出色，但仍有改进的空间，特别是在利用任务描述符、记忆管理和计算效率方面。
【博士每天一篇文献-算法】Gradient Episodic Memory for Continual Learning
BetterBench的博客
10-27 546
针对持续学习中灾难性遗忘问题提出一种名为Gradient Episodic Memory（GEM）算法，这种算法核心思想是将有益的知识传递给过去的任务。还提出了一组评估学习模型在任务间转移知识和避免灾难性遗忘能力的度量指标。
Continual Learning 经典方法 — Gradient Episodic Memory (GEM)
Jingyang.Zhang的博客
11-02 5120
1. 终身学习目标： 缓解灾难性遗忘问题：当数据以online stream的方式训练模型时，训练完 Task 1 之后的模型，在学习 Task 2 的数据时往往会将 Task 1 的知识遗忘，导致在之前训练过的 Task 1 上性能急剧下降。 2. Gradient of Episodic Memory 2.1 什么叫 Episodic Memory 最直观的解决遗忘性问题的方法，就是保存之前训练过任务的数据 (考虑到数据隐私性和计算存储开销的问题，保存的数据量不宜过大) —— 因此将保存好的之前训练过
Gradient Episodic Memory for Continual Learning 论文阅读+代码解析
qq_45478482的博客
12-16 3077
一. 介绍 在开始进行监督学习的时候我们需要收集一个训练集Dtr={(xi,yi)}i=1nD_{tr}=\{(x_i,y_i)\}^n_{i=1}Dtr​={(xi​,yi​)}i=1n​。大部门的监督学习都假定每一个例子都是从一个固定的概率分布P中进行独立同分布的采样。监督学习的目标为构造一个模型fff去预测目标向量y通过x。为了实现这种假设，监督学习通常采用经验风险最小化原则（ERM），fff在这种情况下为1∣Dtr∣∑(xi,yi)∈Dtrl(f(xi),yi)\frac{1}{|D_{tr}|}\
PyTorch深度学习实战（3）——使用PyTorch构建神经网络
盼小辉丶的博客
06-13 6万+
PyTorch 是一个用于构建深度神经网络的库，具有灵活性和可扩展性，可以轻松自定义模型。在本节中，我们将使用 PyTorch 库构建神经网络，利用张量对象操作和梯度值计算更新网络权重，并利用 Sequential 类简化网络构建过程，最后还介绍了如何使用 save、load 方法保存和加载模型，以节省模型训练时间。
PyTorch深度学习实战（1）——神经网络与模型训练过程详解
盼小辉丶的博客
05-28 6万+
在本节中，我们将了解传统机器学习与人工神经网络间的差异，并了解如何在实现前向传播之前连接网络的各个层，以计算与网络当前权重对应的损失值；实现反向传播以优化权重达到最小化损失值的目标。并将实现网络的所有关键组成——前向传播、激活函数、损失函数、链式法则和梯度下降，从零开始构建并训练了一个简单的神经网络。
PyTorch深度学习实战（41）——循环神经网络与长短期记忆网络
最新发布
盼小辉丶的博客
04-28 4236
循环神经网络 (Recurrent Neural Network, RNN) 通过将前一个时间步的隐藏状态作为当前时间步的输入，实现对序列数据的建模，由于循环连接的存在，RNN 能够捕获时间依赖关系，然而，RNN 在处理长期依赖性问题时会遇到困难。为了解决这个问题，提出了 LSTM，通过引入门控机制改进 RNN 来有效地处理长期依赖关系。在本节中，了解了 LSTM 和 RNN 的基本原理，并介绍了如何在 PyTorch 中实现 LSTM。
（GEM）Gradient Episodic Memory for Continual Learning论文笔记
Lcx559的博客
11-13 441
GEM论文阅读
持续学习：持续协调是终身学习的现实场景
燕双嘤
03-19 898
题目：Continuous Coordination As a Realistic Scenario for Lifelong Learning 出处：International Conference on Machine Learning（ICML，2021），深度学习顶级会议。 摘要：当前的深度强化学习（RL）算法仍然具有高度的任务特异性，缺乏推广到新环境的能力。然而，终身学习（LLL）的目标是通过在任务之间有效地传递和使用知识，依次解决多个任务。尽管近年来对终身学习的兴趣激增，但由于缺乏现实的测试
[神经网络学习笔记]长短期记忆模型（Long-Short Term Memory，LSTM）综述
BetterBench的博客
07-21 5897
长短期记忆模型（Long-Short Term Memory，LSTM） 参考学习博客 学习其他模型链接 [神经网络学习笔记]卷积神经网络CNN（Convolutional Neural Networks, CNN） 综述 [神经网络学习笔记]递归神经网络，即循环神经网络(Recurrent Neural Network，RNN)综述 一、引言 RNN会受到短时记忆的影响。如果一条序列足够长，那它们将很难将信息从较早的时间步传送到后面的时间步。 因此，如果处理一段文本进行预测，RNN 可能从一开始
CVPR 2020 连续性学习论文
追随梦想，实现梦想
04-03 955
Conditional Channel Gated Networks for Task-Aware Continual Learning
我理解的第一篇顶会论文
fakerlove的博客
06-07 300
Continual Relation Learning via Episodic Memory Activation and Reconsolidation
论文笔记：Gradient Regularized Contrastive Learning for Continual Domain Adaptation
weixin_41978493的博客
03-26 853
论文地址：https://arxiv.org/abs/2007.12942 代码地址：尚未开源 1 Main Idea（梯度正则化） 1）令梯度不损害源域特征的判别能力，反过来提高模型对目标域的自适应能力； 2）约束梯度不提高在旧目标域上的分类损失，使得模型在旧目标域上的表现得到保持，同时对新目标域有很好的适应能力。 在本文中，作者认为保留源域特征的可分辨能力可以提高模型对不同目标域的适应能力，也即由于源域的标签是已知的，因此从源域中学到的分辨能力可以引导对所有域的适应。多任务学习即源域上的分..
Improved Schemes for Episodic Memory-based Lifelong Learning 论文阅读+代码解析
qq_45478482的博客
12-15 2764
论文地址点这里 一. 介绍 目前深度神经网络能够在单一任务上取得了显著的性能，然而当网络被重新训练到一个新的任务时，他的表现在以前训练过的任务上急剧下降，这种现象被称为灾难性遗忘。与之形成鲜明对比的是，人类的认知系统能够在不破坏以前学到的情况下获得新的知识。 灾难性遗忘激发了终身学习的领域。终身学习的一个核心难题是如何在旧任务和新任务之间取得平衡。在学习到新任务的过程中，原来学习到的知识通常会被打乱，从而导致灾难性遗忘。另一方面，偏向旧任务的学习算法会干扰新任务的学习。而针对这种场景下，目前提出了几种策略。
2020-08-31
weixin_39617145的博客
08-31 757
神经网络的持续终身学习：回顾 摘要 人和动物有能力在其整个生命周期中不断获取，微调和转让知识和技能。这种能力，称为终身学习，是由一系列丰富的神经认知机制介导的，这些机制共同促进了我们的感觉运动技能的发展和专业化，并有助于长期记忆的巩固和恢复。因此，终身学习能力对于计算学习系统和自治代理在现实世界中进行交互并处理连续的信息流至关重要。但是，终身学习仍然是机器学习和神经网络的长期挑战。由于不断地从非平稳数据分布中获取增量可用信息，因此通常会导致灾难性的遗忘或干扰。对于通常从固定批次的训练数据中学习表示的最先进
记忆网络之Dynamic Memory Networks模型介绍及代码实现
呜呜哈的博客
10-11 1万+
记忆网络之Dynamic Memory Networks 今天我们要介绍的论文是“Ask Me Anything: Dynamic Memory Networks for Natural Language Processing”，这篇论文发表于2015年6月，从题目中就可以看得出来，本文所提出的模型在多种任务中均取得了非常优秀的表现，论文一开始说道，NLP中很多任务都可以归结为QA问题，所以本文...
深度学习中长短时记忆网络的更新与数据处理
资源摘要信息:"长短时记忆网络是深度学习领域中一种特殊的循环神经网络(RNN)，能够学习长期依赖信息。在处理和预测时间序列数据方面，LSTM网络因其能够捕捉长距离依赖而受到广泛的关注。SHENDUXUEXI在这里可能是指...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

阿航626

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值