[李宏毅-机器学习]终身学习 Life-long learning

最新推荐文章于 2022-08-02 10:59:11 发布
最新推荐文章于 2022-08-02 10:59:11 发布
阅读量1.6k 收藏 3
点赞数
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/py184473894/article/details/104484058
版权

用同一个模型能解决很多任务

 

knowledge retention

在task1上训练的model，在用于task2的训练后，发现在task1上的performance就下降了

让在新任务上学习到的参数，使得其与之前任务上得到的参数的距离不是很远，每个参数都有一个b来控制它的重要程度

 

knowledge transfer

 

model expansion

 

 

 

炼丹师
关注
专栏目录
李宏毅2020机器学习资料汇总
⚡
04-08 8万+
前言 可能受到新冠病毒的影响，台大也开始了网课教学。李宏毅上传了2020版本的机器学习视频，可以说是非常好的学习资料（尽管其中多数都是2017、2019的视频，但有部分更新）。 和吴恩达的CS229机器学习相比，中文版本的机器学习显得亲民了许多，李宏毅的机器学习是英文的ppt+中文讲解，非常有利于大家入门。吴恩达的CS229中偏向于传统机器学习……
李宏毅机器学习36——life long learning
weixin_57178683的博客
09-05 733
这节课学习了lifelonglearning，lifelonglearning意为终身学习，意思是通过一个神经网络来进行多个task的训练。 LLL面临的主要问题就是经过多个task之后，神经网络对于早期训练的效果就会很差，这可以理解为会遗忘掉过去的事。为了处理这个问题，主要学习了两种方法。 1是EWC（Elastic weight consolidation），ewc的想法是保留之前task训练过程中重要的参数，去更改不太重要的参数，使得经过多个task训练后，对早期的task仍然有不错的表现...
Life-Long(终身学习)
Multi-Agent_DRL
10-08 1554
Life-Long learning 忘记机制 catastrophic forgetting 保护机制, 图片里的Do not forget表示没有忘记Task1所学习到东西, 也就是误差没有下降多少 life-long, 不止task2做得好, task1还要可以继续做 ...
12-机器学习进阶-终身学习
qq_15821487的博客
08-22 178
机器一直学 之前的内容，保留学过的 下一个任务，有迁移学习，有利于下一个任务 模型能否自动扩展，一个固定的模型参数大小一致，所蕴含的知识也是有上限的 第一个比第二个难，所以学了任务1可以较好的应用在任务2，反过来未必 后面再联合在一块学习 多任务学习可以优化终身学习的事情，但是资料存储空间有限 更改损失函数，就可以做任务优化，之前学过的重要的参数尽可能保持不变，通过参数b控制 EWC 通过二阶导数，判断梯度的变化强度 相比正则化可以更灵活调整，没个参数都可以根据实际情况调整 通生产模型..
终身机器学习：一种可持续学习的范式
西涛offbye-移动全栈技术博客
08-19 2692
前言： 最近发现了一篇很有意思的论文，有关集成学习中的可持续性的研究，这里翻译了一下，供了解和学习使用 刘兵：美国芝加哥大学的计算机科学教授。他的研究包括情绪分析和意见挖掘、终身机器学习、数据挖掘、机器学习和自然语言处理。他目前担任ACM SIGKDD的主席，ACM Fellow, AAAI Fellow, and IEEE Fellow。 下面是正文内容： 引言： 　　机器学习(ML)...
李宏毅学习笔记45.Life-long Learning
老毛的博客
08-07 1188
文章目录介绍Knowledge Retention but NOT IntransigenceExample – ImageExample – Question AnsweringMulti-task training 的两个问题Elastic Weight Consolidation (EWC)其他的Elastic Weight Consolidation (EWC)Generating DataAdding New ClassesKnowledge TransferLife-Long v.s. Tran
机器学习笔记14_Life long learning& meta learning
爱技术的小白
03-29 1604
本文是李宏毅机器学习的笔记，这是第十二节，介绍了域适应和网络压缩技术。 文章目录1. Life Long LearningCatastrophic Forgetting2. Meta Learning 1. Life Long Learning Life Long Learning就是让机器可以持续学习，能处理各种各样的任务。 也就是模型通过不断看新的资料，得到反馈，然后更新自身，变得更厉害，能处理更多事情。 但是我们发现，机器学完一个任务之后，再去学另一个任务，那第一任务就会被遗忘，而且这与模型自身的能
【22李宏毅机器学习】课程大纲概述
春天猪会飞的博客
08-02 878
本专栏将开启李宏毅老师机器学习深度学习的课程学习，课程不仅用于自我记录，也希望能帮到更多志同道合的朋友，ok，废话少说，直接开始。课程将总共划分为15讲，以下罗列的顺序按照李老师讲课顺序排列。综述MachineLearning≈LookingforFunction也即寻找到一个只靠人力很难找到的函数它的输入可以是向量、矩阵和序列，而经过函数处理后，可以得到一个标量，或者做到分类，甚至翻译等。............
李宏毅机器学习2020版笔记1-课程流程
THEGREATHXY的博客
03-12 859
课程流程图 Regression(回归) 要找的函数的输出是一个数值（scalar）。例如：PM2.5数值预测 Classification(分类) 二分类 输出只有两个类： RNN中输入句子，输出是正面还是负面 多分类 有多个输出类：从多个已知类中输出一个。 CNN中图像分类 Generation（生成） 生成句子或图片： Supervised Learning 给机器输入带标签的数据...
李宏毅——终身学习lifelong learning
shaoyue1234的专栏
09-29 3755
李宏毅——终身学习lifelong learning导读要解决的问题如何解决遗忘问题Elastic Weight Consolidation（EWC）基本思想理解EWC的变形其他方法生成数据新增类knowledge transferlife-long vs transfer如何衡量life-long learningGEMModel ExpansionProgressive Neural Netw...
awesome-lifelong-continual-learning:终身持续机器学习领域的论文，博客，数据集和软件列表
05-07
很棒的持续学习/很棒的终身学习 持续学习的目的是让机器复制类似于人类的学习，使他们能够依次学习新的任务和观察结果，同时仍然能够保留从过去的经验中获得的知识。 以下是终身/连续/顺序/增量式机器学习领域的论文，博客，数据集和软件的列表。 内容 文件 理论与调查 基于梯度的神经网络中灾难性遗忘的实证研究。 （2013） 谈论神经网络中的遗忘问题和使用辍学的优势 连接主义网络中的灾难性干扰：顺序学习问题。 （1989） 最早的一篇介绍学习模块中遗忘概念的论文 神经网络的持续终身学习：回顾（2018年） 详尽的调查论文，介绍了持续学习或终生学习的不同方法 使记忆持久：突触标记和捕获假设。 （2011） 突触学习的神经科学观点 自组织神经模式识别机器的大规模并行体系结构（1989年） 讨论稳定性（保留过去知识的能力）和可塑性（快速学习新事物的能力）之间的权衡 终身机器学习（2016）
终身学习
More reading and learning to become excellent
09-12 1462
与时俱进(终身学习) 为什么不愿意学习 功利性的学习模式:高考后的狂欢(欧美国家,进入大学才是正式学习的开始.) 局限性的环境:工作,生活,家庭,以忙为借口,没有时间学习,千万不要把学习与生活分离开来,学习不是我们到达成功的工具.这样的认知是非常局限的. 错误的方式 资历越老越不需要学习. 资历,经验和资历不会根据年龄自动增长而自动增长的.看上去经验和资历越长就月有能力其实不是这样...
Life Long Learning
KDLin‘s Blog
07-16 312
Life Long Learning 2020年7月13日 21:46 目录 - - 问题定义 - Upper Bound - Multi-task Learning - Knowledge Retention - Elastic Weight Consolidation (EWC) - 简述 - 一个直观的理解 - 用二阶导数衡量参数的重要性 ...
【七-1】终身学习 Life Long Learning-为什么今天的人工智能不能成为天网？catasrophic forgetting
云淡风轻_的博客
07-19 486
一、LLL：一直用同一个模型学习各种技能 二、LLL的实际应用 模型上线后可以取得用户的反馈，不断更新模型参数 三、LLL的难点在哪里：灾难性遗忘catasrophic forgetting 1、影像辨识例：3层50个神经元，手写数字识别：任务1有杂讯，任务2没有 a、分开学任务1、2 在任务1上学完后准确率90%，没看过任务2的情况下准确率96%，得到的模型参数不变（同一模型）继续学习任务2来更新参数，任务2的准确率提高了，但是机器忘了怎么做任务1了 b、同时学两个任务：两个任.
2022李宏毅第14讲---机器终身学习（Life Long Learning）
qq_44076218的博客
07-26 1255
李宏毅2022深度学习部分中对终身学习的总结
机器学习16 -- Lifelong Learning 终生学习
热门推荐
谢杨易的博客
09-14 1万+
1 什么是lifelong learning Lifelong learning终生学习，又名continuous learning，increment learning，never ending learning。通常机器学习中，单个模型只解决单个或少数几个任务。对于新的任务，我们一般重新训练新的模型。而LifeLong learning，则先在task1上使用一个模型，然后在task2上仍然使用这个模型，一直到task n。Lifelong learning探讨的问题是，一个模型能否在很多个task上
DARPA“终身学习机器”项目取得重大进展
人工智能学家
03-20 1228
来源：DARPA网站2019年3月，美国防高级研究计划局（DARPA）“终身学习机器”（L2M）项目研究人员在《自然·机器智能》杂志发表了其有关人工智能算法的研究结果，介...
机器学习-48-Life-long Learning(终生学习)
迷雾总会解
01-20 5931
我们是否可以只用一个网络结构（注意，这里的网络结构并非是固定的。也许随着任务的需要，得自行扩展网络），在不同的任务上分别训练，使得该网络能够胜任所有的任务呢？ 这就是Life-long learning 所要研究的课题。
李宏毅-2023春机器学习
最新发布
08-10
李宏毅是一位知名的中国人工智能领域的学者和专家，尤其是在深度学习方面有很高的声誉。2023年春季的机器学习领域可能会聚焦于最新的研究进展和技术应用，例如： 1. 自动化机器学习 (AutoML) 的发展：自动化工具会...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值