李宏毅机器学习之Life Long Learning

最新推荐文章于 2024-09-15 18:44:18 发布
最新推荐文章于 2024-09-15 18:44:18 发布
阅读量6.2k 收藏 8
点赞数
分类专栏： 2019李宏毅机器学习 文章标签： 李宏毅 机器学习 life long learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35564813/article/details/92430068
版权

李宏毅机器学习之Life Long Learning

Life-long Learning需要解决的问题

在这里插入图片描述

Knowledge Retention

在这里插入图片描述

学习完任务2后任务1的正确率下降了

在这里插入图片描述

如果一起学，可以学的很好，为什么分开学，就乱了，Catastrophic Forgetting

在这里插入图片描述

EWC 核心思想：在二次训练的时候，之前比较重要的参数尽量不要去改

在这里插入图片描述

theta1 在平原上，所以变化对任务1的影响不大，所以对应的b1也比较小, theta2相对曲线比较陡峭，容易对任务1产生影响，所以对应的b2会比较大。

在这里插入图片描述

在这里插入图片描述

Knowledge Transfer

在这里插入图片描述

知识迁移与life-long learning的区别

在这里插入图片描述

life-long learning的一般评估方法

在这里插入图片描述

GEM 核心思想：学习新任务的时候，考虑以前任务的梯度方向

Model Expansion

在这里插入图片描述

在这里插入图片描述

学习的顺序也很重要

loserChen.
关注
专栏目录
李宏毅2020机器学习资料汇总
⚡
04-08 8万+
前言 可能受到新冠病毒的影响，台大也开始了网课教学。李宏毅上传了2020版本的机器学习视频，可以说是非常好的学习资料（尽管其中多数都是2017、2019的视频，但有部分更新）。 和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习……
机器学习笔记14_Life long learning& meta learning
爱技术的小白
03-29 1614
本文是李宏毅机器学习的笔记，这是第十二节，介绍了域适应和网络压缩技术。 文章目录1. Life Long LearningCatastrophic Forgetting2. Meta Learning 1. Life Long Learning Life Long Learning就是让机器可以持续学习，能处理各种各样的任务。 也就是模型通过不断看新的资料，得到反馈，然后更新自身，变得更厉害，能处理更多事情。 但是我们发现，机器学完一个任务之后，再去学另一个任务，那第一任务就会被遗忘，而且这与模型自身的能
机器学习 李宏毅 L38-Ensemble
okgagaga的博客
02-25 445
Ensemble之bagging 对于较复杂的模型，其模型可能会造成较大的variance，因此可以通过多个模型进行平均或者投票，得到variance较小的总体模型，如下图所示。 一个容易overfit的模型是决策树，decision tree。而random forest是决策树进行bagging的版本。 Ensemble之boosting boosting可以用于提升较...
Life Long Learning
boooiaji的博客
10-26 557
抄自 Frank Tian 李宏毅 Life Long Learning Life Long Learning (LLL)说的是，用同一个模型进行持续不断的学习。在我的理解中这个LLL有不同层次的含义。 用分类问题举例，模型在最开始学习的时候可以用不同类别的图片，但是接下来，如果我们又拿到了一些训练数据，这些训练数据和之前的图片有些差别，我们想让模型通过学习新的数据提升能力，但是又不想让模型降低处理原来问题的能力。 例如开始时见到的手写数字是有背景噪音的： 后来新增加的训练数据是没有背景噪音的： 在不
第二周：李宏毅机器学习
最新发布
m0_59510256的博客
09-15 729
本周以宝可梦为例，学习了回归和分类两大任务的步骤。在预测宝可梦CP值的线性回归任务中，学习了改进模型的常用方法，并学会了用正则化的方法来解决模型过拟合问题；在概率生成模型中，学习了高斯分布和极大似然估计在模型中的应用；在逻辑回归模型中，学习了一种新的损失函数：交叉熵。将逻辑回归与线性回归进行了比较，并对比了均方差和交叉熵，又将概率生成模型和逻辑回归模型进行了对比，分析了各自优势场景。最后，学习了多分类和Softmax的应用，并学习了用特征转换和连接多个逻辑回归的方法来解决逻辑回归的局限性问题。
2022李宏毅第14讲---机器终身学习（Life Long Learning）
qq_44076218的博客
07-26 1285
李宏毅2022深度学习部分中对终身学习的总结
Life-Long(终身学习)
Multi-Agent_DRL
10-08 1567
Life-Long learning 忘记机制 catastrophic forgetting 保护机制, 图片里的Do not forget表示没有忘记Task1所学习到东西, 也就是误差没有下降多少 life-long, 不止task2做得好, task1还要可以继续做 ...
【机器学习】LifeLong Learning（终身学习）介绍
热门推荐
敲代码的quant的博客
04-28 1万+
下面的文章转自（已获作者允许）： 2020机器学习前沿技术----LifeLong learning - stephon的文章 - 知乎 文章介绍了关于机器学习比较前沿的一项技术，也就是LifeLong Learning。这篇文章也对LifeLong Learning与Multi-task Learning以及Transfer Learning进行了对比，所以我将其进行了转载，其中对其排版进行了一...
李宏毅机器学习36——life long learning
weixin_57178683的博客
09-05 761
这节课学习了lifelonglearning，lifelonglearning意为终身学习，意思是通过一个神经网络来进行多个task的训练。 LLL面临的主要问题就是经过多个task之后，神经网络对于早期训练的效果就会很差，这可以理解为会遗忘掉过去的事。为了处理这个问题，主要学习了两种方法。 1是EWC（Elastic weight consolidation），ewc的想法是保留之前task训练过程中重要的参数，去更改不太重要的参数，使得经过多个task训练后，对早期的task仍然有不错的表现...
【22李宏毅机器学习】课程大纲概述
春天猪会飞的博客
08-02 903
本专栏将开启李宏毅老师机器学习深度学习的课程学习，课程不仅用于自我记录，也希望能帮到更多志同道合的朋友，ok，废话少说，直接开始。课程将总共划分为15讲，以下罗列的顺序按照李老师讲课顺序排列。综述MachineLearning≈LookingforFunction也即寻找到一个只靠人力很难找到的函数它的输入可以是向量、矩阵和序列，而经过函数处理后，可以得到一个标量，或者做到分类，甚至翻译等。............
李宏毅机器学习公开课2020版上线讲义
嘻嘻哈哈在成长
03-20 2033
课程内容http://speech.ee.ntu.edu.tw/~tlkagk/courses_ML20.html B 站视频https://www.bilibili.com/video/av94534906/ PPT ： 百度网盘 链接: https://pan.baidu.com/s/1x2LqOHnkxwzRZDM8cI6FuA 密码:cqqe 如果勤劳也可以自己去原本的内容里进...
《深度持续学习》综述论文
09-08
当前的深度学习研究以基准评价为主。如果一种方法在专门的测试集上有良好的经验表现，那么它就被认为是有利的。这种心态无缝地反映在持续学习的重现领域，在这里研究的是持续到达的基准数据集。
Life-Long Learning（LLL）终身学习的理解
菜菜小孙的blog
08-04 8641
Life-Long Learning（LLL） 看了李宏毅老师的Life-Long Learning视频，以及粗略阅读了A continual learning survey:Defying forgetting in classification tasks这篇综述文章，菜菜的小孙对LLL有了初步的认知。（每次换方向都会秃头，记录一下今日2020年8月3日小孙又去剪了头发，心好痛） 目录Life-Long Learning（LLL）一、什么是lifelong learning？二、longlife lea
什么是终身学习（Life Long Learning / Continuous Learning / Never Ending Learning / Incremental Learning）
蓝鲸鱼的博客
05-03 7174
文章目录1. 概念区分1.1 Life Long v.s. Multi task1.2 Life Long v.s. Transfer2. 终身学习2.1 Selective Synaptic Plasticity2.2 Gradient Episodic Memory (GEM)2.3 Progressive Neural Networks2.4 PackNet2.1.5 Compacting, Picking, and Growing(CPG)2.1.6 Generating Data2.1.7 不同架
life long learning 相关文章及论文
追随梦想，实现梦想
10-08 427
神经网络之灾难性遗忘问题 利用突触智能实现连续学习|从原理到代码解析 Existing approaches can be categorized into three major families based on how the information regarding previous task data is stored and used to mitigate forge...
[机器学习入门] 李宏毅机器学习笔记-36（Ensemble part 2；集成方法 part 2）
Holeung blog
08-03 1383
[机器学习入门] 李宏毅机器学习笔记-35（Ensemble；集成方法） PDF VIDEO 上接part 1 EnsembleEnsemble BoostingAdaBoost Algorithm for AdaBoost 上面 空白处为+1或-1，由下式决定。 于是： 我们要把这些classifier通通aggregate集合起来，怎么集合呢？ 对 smaller e
Meta Learning-MAML & Life Long Learning
qq_30011515的博客
02-22 185
Meta Learning Omniglot – Few-shot Classification MAML Reptile Elastic Weight Consolidation (EWC) Gradient Episodic Memory (GEM)
李宏毅——transformer
shaoyue1234的专栏
10-09 1744
李宏毅——transformer导读self-attentionmulti-head self-attention顺序问题seq2seq with attentiontransformer网络架构attention visualization例子 导读 什么是transformer： 对于序列，常用的是RNN RNN的问题，不容易并行处理。 所以有人提出了，用CNN来替代RNN。 图中每一个三角...
机器学习-48-Life-long Learning(终生学习)
迷雾总会解
01-20 6009
我们是否可以只用一个网络结构（注意，这里的网络结构并非是固定的。也许随着任务的需要，得自行扩展网络），在不同的任务上分别训练，使得该网络能够胜任所有的任务呢？ 这就是Life-long learning 所要研究的课题。
李宏毅机器学习笔记：Adaptive Learning Rate算法详解与应用
本篇文章是关于李宏毅的机器学习学习笔记，主要聚焦于Adaptive Learning Rate在深度神经网络训练中的应用。Adaptive Learning Rate是一种策略，旨在解决固定学习率在训练过程中可能遇到的问题，如过早停止在非全局最...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值