Life-Long(终身学习)

最新推荐文章于 2023-05-08 11:01:17 发布
最新推荐文章于 2023-05-08 11:01:17 发布
阅读量1.5k 收藏
点赞数
分类专栏： ML
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42718542/article/details/102373591
版权

Life-Long learning

  1. 忘记机制
    在这里插入图片描述
  2. catastrophic forgetting
    在这里插入图片描述
  3. 保护机制, 图片里的Do not forget表示没有忘记Task1所学习到东西, 也就是误差没有下降多少
    在这里插入图片描述
  4. life-long, 不止task2做得好, task1还要可以继续做
    在这里插入图片描述

Knowledge Transfer

Gradient episodic memory

当前任务的梯度更新方向(negative gradient of current task), 第二幅图的g`是旋转后的, 要尽量和原来的 g as close as possible,
在这里插入图片描述

Coop_Multi-Agent_DRL
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
life long learning概述 学习笔记
leah123123的博客
07-27 669
Life long learning：训练同一个大脑，学不同的任务 三个要点： knowledge retention记住学习的知识，not intransigence不能固执不改变。 机器先学a在学b就会忘记a，但是同时学a和b就能都记得不错，称之为catastrophic forgetting knowledge transfer model expansion，but parameter efficiency 第一条解决办法： elastic weight consolidation（.
Life Long Learning
boooiaji的博客
10-26 543
抄自 Frank Tian 李宏毅 Life Long Learning Life Long Learning (LLL)说的是，用同一个模型进行持续不断的学习。在我的理解中这个LLL有不同层次的含义。 用分类问题举例，模型在最开始学习的时候可以用不同类别的图片，但是接下来，如果我们又拿到了一些训练数据，这些训练数据和之前的图片有些差别，我们想让模型通过学习新的数据提升能力，但是又不想让模型降低处理原来问题的能力。 例如开始时见到的手写数字是有背景噪音的： 后来新增加的训练数据是没有背景噪音的： 在不
深度学习《Life-Long Learning》
qq_29367075的博客
11-23 372
本文不打算自己写了，学习自李宏毅的课程，附带链接如下： https://zhuanlan.zhihu.com/p/161379773 https://blog.csdn.net/qq_35564813/article/details/92430068 再次做个记录，方便后续回忆，避免遗忘。
北京市重点中2015年高中英语Unit15LearningLesson1Life_longLearning公开课学案无答案北师大
08-19
1. 终身学习的概念：终身学习（Life-long Learning）是指人们持续不断地进行学习，无论年龄、职业或生活阶段。这一概念强调适应社会发展，不断提升自我，以满足个人发展和市场需求。 2. 远程教育与学历提升：Sun ...
Furball-crx插件
04-03
###闪存已经死了，long live html5 ### 随着Adobe Flash“Life的终结”即将到来，准备好在刮擦Flash Player和Nathan Dinsmore之间切换的可能性。 终身幼儿园集团在麻省理工学院媒体实验室开发了划痕。 查看...
广东署山市顺德区均安中学高中英语Unit15LearningLesson12导学案无答案北师大版必修5
08-19
- life-long learning (终身学习) - people of all ages and backgrounds (不同年龄不同背景的人) - to be honest (老实说，说实话) - lay off (裁员，解雇) - go blank (（脑子）一片空白) - filled with ...
英语北师大必修UnitLessonLifeLongLearningPPT课件.pptx
10-14
本资源为"英语北师大必修Unit 15 Lesson 1 Life-long Learning"的PPT课件，旨在探讨终身学习的重要性。内容涵盖了一个小型调查，讨论了父辈的教育经历，以及终身学习的必要性和重要性。此外，课件还引导学生关注社会...
赚点分数下载_学习英语必要的100句
05-09
- **应用场景**：在鼓励学习和终身教育的理念时引用。 以上列举的经典格言涵盖了生活的多个方面，从个人修养到社会关系，从职业发展到道德观念，都提供了深刻的启示。这些格言不仅能够帮助我们更好地理解世界，也为...
机器学习-48-Life-long Learning(终生学习)
迷雾总会解
01-20 5870
我们是否可以只用一个网络结构（注意，这里的网络结构并非是固定的。也许随着任务的需要，得自行扩展网络），在不同的任务上分别训练，使得该网络能够胜任所有的任务呢？ 这就是Life-long learning 所要研究的课题。
[李宏毅-机器学习]终身学习 Life-long learning
炼丹师
02-24 1624
用同一个模型能解决很多任务 knowledge retention 在task1上训练的model，在用于task2的训练后，发现在task1上的performance就下降了 让在新任务上学习到的参数，使得其与之前任务上得到的参数的距离不是很远，每个参数都有一个b来控制它的重要程度 knowledge transfer mo...
持续学习-Continual learning
weixin_35848967的博客
12-24 4460
当前主流的针对神经网络模型的持续学习方法可以分为一下几类： 1. Regularization： 在网络参数更新的时候增加限制，使得网络在学习新任务的时候不影响之前的知识。这类方法中，最典型的算法就是EWC。 EWC https://github.com/GMvandeVen/continual-learning 2. Ensembling： 当模型学习新任务的时候，增加新的模型（可以是显示或者隐式的方法），使得多个任务实质还是可以对应多个模型，最后把多个模型的预测进行整合。增加子模型的方式固然好，但是没多
李宏毅机器学习之Life Long Learning
loserChen的博客
06-16 6251
李宏毅机器学习之Life Long Learning Life-long Learning需要解决的问题 Knowledge Retention 学习完任务2后任务1的正确率下降了 如果一起学，可以学的很好，为什么分开学，就乱了，Catastrophic Forgetting EWC 核心思想：在二次训练的时候，之前比较重要的参数尽量不要去改 theta1 在平原上，所以变化对任务1的影...
Life-Long Learning（LLL）终身学习的理解
菜菜小孙的blog
08-04 8555
Life-Long Learning（LLL） 看了李宏毅老师的Life-Long Learning视频，以及粗略阅读了A continual learning survey:Defying forgetting in classification tasks这篇综述文章，菜菜的小孙对LLL有了初步的认知。（每次换方向都会秃头，记录一下今日2020年8月3日小孙又去剪了头发，心好痛） 目录Life-Long Learning（LLL）一、什么是lifelong learning？二、longlife lea
李宏毅机器学习36——life long learning
weixin_57178683的博客
09-05 712
这节课学习了lifelonglearning，lifelonglearning意为终身学习，意思是通过一个神经网络来进行多个task的训练。 LLL面临的主要问题就是经过多个task之后，神经网络对于早期训练的效果就会很差，这可以理解为会遗忘掉过去的事。为了处理这个问题，主要学习了两种方法。 1是EWC（Elastic weight consolidation），ewc的想法是保留之前task训练过程中重要的参数，去更改不太重要的参数，使得经过多个task训练后，对早期的task仍然有不错的表现...
Continual Learning/Lifelong Learning/Incremental Learning
Si_ang_的博客
05-08 3570
朴素定义：持续学习就是随着时间的推移，不断地处理现实世界中连续的信息流（这些信息逐渐可用），在学习新知识的同时，还保留甚至整合优化旧知识的能力。精确理解：终身学习系统被定义为能够从连续的信息流中学习的自适应算法，随着时间的推移，这些信息被逐渐可用，并且需要学习的任务数量没有预定义（可以是无限的），重要的是，对新信息的调节应该在没有灾难性遗忘或干扰的情况下发生。通俗理解：一个模型学习随着时间推移不断增加的序列任务。
Lifelong SLAM 论文解读合集（3）：针对长时间重复运行SLAM地图更新问题
weixin_47658743的博客
08-15 2400
Lifelong SLAM 论文解读合集（3）：针对长时间重复运行SLAM地图更新问题(IROS 2018)Efficient Long-term Mapping in Dynamic Environments (IROS 2018)Efficient Long-term Mapping in Dynamic Environments : https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8594310. ...
2022李宏毅第14讲---机器终身学习（Life Long Learning）
qq_44076218的博客
07-26 1223
李宏毅2022深度学习部分中对终身学习的总结
For some individuals, their life-long p__ is to win at sports, which they believe to be more important than anything else, and some Olympic athletes are among them.划横线的地方填什么
最新发布
06-12
句子的正确写法是："For some individuals, their life-long passion is to win at sports, which they believe to be more important than anything else, and some Olympic athletes are among them."。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值