李宏毅：Life Long Learning

最新推荐文章于 2023-01-10 20:36:40 发布
最新推荐文章于 2023-01-10 20:36:40 发布
阅读量707 收藏 1
点赞数
分类专栏： # 机器学习 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/larsgyonx/article/details/128054155
版权

Life Long Learing 也是continual Learning，也是incremental learning

目录

Life-Long Learning  vs  Transfer Learning

Evaluation

Research Directions

Selective Synaptic Plasticity——Regulization Based

Additional Neural Resourcr Allocation

Memory Reply

Life-Long Learning  vs  Transfer Learning

Transfer Learning：在任务一上学到的内容Transfer到任务二，关注点在Task2

Life-Long Learning：学完Task2以后Task1还能否work

Evaluation

Research Directions

Selective Synaptic Plasticity——Regulization Based

Forget的原因：白色——loss越大，蓝色——loss越小，先让模型训练task1，随机训练的参数θ0，然后使用梯度下降的方法调整θ0的参数，得到θb。将θb的参数迁移到Task2，继续训练得到θ*。将θ*应用于task1发现loss变大，说明出现了forget现象。如果将θb往右移是否在task1上效果更好呢？（往右移也是蓝色区域）

basic idea：对先前任务重要的一些参数不要改变，只需要调整不重要的参数。

\theta^b 是先前任务学习到的参数，对每一个参数 \theta_{i}^b 设置一个守卫 b_{i} ，代表该参数对过去的任务是否重要。\theta_{i} 指的是将要被此任务学习得到的参数，下式为改写后的loss function，第二个式子表示该参数的重要程度：

L{}'(\theta )=L(\theta)+\lambda \sum_{i}b_{i}(\theta_{i}-\theta_{i}^b)^2

if\quad b_{i}=0,\quad there \quad is\quad no \quad constraint \quad on\quad\theta_{i}    ——catastrophic forgetting

if\quad b_{i}=\infty,\quad \theta_{i} \quad would\quad always \quad be \quad equal\quad to\quad \theta_{i}^b ——instransigence

如何设置 b_{i}?

\theta_{1} 方向上loss变化很小，b1很小；\theta_{2} 方向上loss变化比较大，b2较大。

 Gradient Episodic Memory (GEM)

 通过存少量资料updata direction。

Additional Neural Resourcr Allocation

Progressive Neural Networks

只训练当前模型的参数，只是将前面模型的参数作为输入，缺点：占用过多额外空间。

PackNet:开一个大的网络但每次task只占用其中一部分，参数保留一小部分

CPG：结合上述两种方法，既进行参数的dropout，也开辟网络空间

Memory Reply

Generating data

生成先前任务的学习资料来用于现在任务的训练。

 增加新class方法：

 

bulibuli蛋
关注
专栏目录
2021 Lifelong learning（李宏毅
linyuxi_loretta的博客
11-05 546
Lifelong learning探讨的问题是，一个模型能否在很多个task上表现都很好。如此下去，模型能力就会越来越强。Life Long Learning 的難點出在什麼樣的地方：這個算是同一個任務 不同的 Domain機器先學個語音辨識、再學個翻譯、再学个影像辨识。。Lifelong learning沒有做到那個程度一般在 Life Long Learning 的文獻上，所謂的不同任務指的差不多就是我这里例子的等级，e.g.2 问答系统。
李宏毅机器学习36——life long learning
weixin_57178683的博客
09-05 749
这节课学习了lifelonglearning，lifelonglearning意为终身学习，意思是通过一个神经网络来进行多个task的训练。 LLL面临的主要问题就是经过多个task之后，神经网络对于早期训练的效果就会很差，这可以理解为会遗忘掉过去的事。为了处理这个问题，主要学习了两种方法。 1是EWC（Elastic weight consolidation），ewc的想法是保留之前task训练过程中重要的参数，去更改不太重要的参数，使得经过多个task训练后，对早期的task仍然有不错的表现...
2022李宏毅第14讲---机器终身学习（Life Long Learning）
qq_44076218的博客
07-26 1269
李宏毅2022深度学习部分中对终身学习的总结
李宏毅——终身学习lifelong learning
shaoyue1234的专栏
09-29 3789
李宏毅——终身学习lifelong learning导读要解决的问题如何解决遗忘问题Elastic Weight Consolidation（EWC）基本思想理解EWC的变形其他方法生成数据新增类knowledge transferlife-long vs transfer如何衡量life-long learningGEMModel ExpansionProgressive Neural Netw...
台大李宏毅PPT：什么是 Lifelong learning, Continual Learning, Never Ending Learning, Incremental Learning，CL
轮子去哪儿了
12-24 4908
文章目录视频链接：台大 李宏毅 PPT_lifelong learning / continual learning1. 什么是灾难性遗忘？2. 解决方法：为什么不使用 multi-task trainingEWC (Elastic Weight Consolidation)Generation DatasKnowledge trandfer3. evaluation 评价方式Model Expa...
李宏毅ML+DL学习记录：life long learning
weixin_41391619的博客
03-08 393
LLL模型，EWC\GEM\generating data,以及模型效果评价（backward and forward）
机器学习笔记14_Life long learning& meta learning
爱技术的小白
03-29 1608
本文是李宏毅机器学习的笔记，这是第十二节，介绍了域适应和网络压缩技术。 文章目录1. Life Long LearningCatastrophic Forgetting2. Meta Learning 1. Life Long Learning Life Long Learning就是让机器可以持续学习，能处理各种各样的任务。 也就是模型通过不断看新的资料，得到反馈，然后更新自身，变得更厉害，能处理更多事情。 但是我们发现，机器学完一个任务之后，再去学另一个任务，那第一任务就会被遗忘，而且这与模型自身的能
meta learning（李宏毅
linyuxi_loretta的博客
11-13 1076
meta 元meta learning： learn to learn 学习如何学习大部分的时候deep learning就是在调hyperparameter、调hyperparameter真的很烦，决定什么network的架构啊、决定learning rate啊等等、实际上没有什么好方法来调这些hyperparameter、今天业界最常拿来解决调hyperparameter的方法呢就是买很多张gpu了、
【李宏毅2020 ML/DL】P106 More about Life Long Learning
记录学习痕迹的公众号：Piper蛋窝
08-13 1127
关于 Life Long Learning 的一些标志性、开创性文章综述。
Life Long Learning
qq_34527082的博客
08-03 711
Life Long Learning目标遇到的问题,挑战:相关算法1. 抗遗忘: Elastic Weight consolidation(EWC)2. 抗遗忘: 训练能够生成之前task样本的模型3. 提升: Gradient Episodic Memory (GEM)4. Model Expansion1. Progressive Neural Networks2. Expert Gate3....
Life Long Learning(LLL) 终身学习(增量学习)(Continuous Learning & Incremental Learning)
hxxjxw的博客
08-20 2247
人在学习的时候，只有一个大脑，从初中到高中到大学，都是用同一个大脑在学习的 然而在机器学习当中，机器学习的情形真的和人很不一样 机器学习对于每一个作业都会训练一个不同的模型吗，例如从作业1到作业3会训练3个不同的模型 那么为什么我们不每一次作业都训练同一个模型呢 使用同一个模型来进行学习，就是life long learning Life Long Learning, 也叫Continuous Learning, Never Ending Learning, Incremental Lea..
机器学习-48-Life-long Learning(终生学习)
迷雾总会解
01-20 5985
我们是否可以只用一个网络结构（注意，这里的网络结构并非是固定的。也许随着任务的需要，得自行扩展网络），在不同的任务上分别训练，使得该网络能够胜任所有的任务呢？ 这就是Life-long learning 所要研究的课题。
深度学习《Life-Long Learning》
qq_29367075的博客
11-23 386
本文不打算自己写了，学习自李宏毅的课程，附带链接如下： https://zhuanlan.zhihu.com/p/161379773 https://blog.csdn.net/qq_35564813/article/details/92430068 再次做个记录，方便后续回忆，避免遗忘。
life long learning 学习笔记
yjli98的博客
11-17 498
学习来源：李宏毅2020机器学习深度学习(完整版)国语 链接:https://www.bilibili.com/video/BV1JE411g7XF?p=99 life long learning 也可称为： 终身学习的目的：同时学会多个技能 为了达成life long learning 需要解决的问题：1、保留多任务的知识（不遗忘） 2、知识迁移 3、有效率的模型扩张 举例：使用nn对手写数字0进行识别，如图的两个问题，如果先学task1，再学task2，会使task1的表现变差
2021李宏毅机器学习课程-YouTube第十一部分、终身学习Life long learning
最新发布
weixin_52836217的博客
01-10 390
2021李宏毅机器学习课程-YouTube第十一部分、终身学习Life long learning
【增量学习】Life Long Learning 《李宏毅2021持续/终身学习视频》讲解笔记
BlueBlue
08-30 790
原视频网址：https://www.bilibili.com/video/BV1Wv411h7kN?p=84 视频学习笔记：https://ripe-heliotrope-6f4.notion.site/Lifelong-Learning-05047c41964c4eacbab023823f1f6bef
李宏毅深度强化学习：Q-Learning解析
"台湾李宏毅老师的深度强化学习PPT，涵盖了Q-Learning的基本概念、技巧以及连续动作的处理方法，对于理解强化学习中的评价函数（Critic）和策略（Actor）有很好的指导作用。" 在深度强化学习中，Q-Learning是一种...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值