Raki的读paper小记：LAMOL: LANGUAGE MODELING FOR LIFELONG LANGUAGE LEARNING

最新推荐文章于 2022-05-03 19:50:19 发布
最新推荐文章于 2022-05-03 19:50:19 发布
阅读量517 收藏
点赞数
分类专栏： Continual Learning NLP 读paper 文章标签： 自然语言处理 bert 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Raki_J/article/details/124055337
版权
读paper 同时被 3 个专栏收录
83 篇文章 5 订阅
订阅专栏
NLP
82 篇文章 10 订阅
订阅专栏
Continual Learning
19 篇文章 3 订阅
订阅专栏

Abstract & Introduction & Related Work

  • 研究任务
    lifelong learning
  • 已有方法和相关工作
  • 面临挑战
    • 现有方法大多基于图片或者游戏，而不是语言
  • 创新思路
    • 提出了一种基于语言模型的lifelong learning方法
    • 重现以前任务的伪样本，同时不需要额外的内存或模型容量
  • 实验结论
    • 结果显示，LAMOL可以防止灾难性遗忘，而没有任何不妥协的迹象，并且只用一个模型就可以连续完成五种非常不同的语言任务
    • sota
    • 此外，我们建议在伪样本生成过程中增加特定任务的标记，以便在所有先前的任务中均匀地分配生成的样本。这一扩展稳定了LLL，在大量任务的训练中特别有用
    • 我们分析了不同数量的伪样本如何影响LAMOL的最终性能，考虑了有和没有特定任务标记的结果

训练一个语言模型，同时具备生成伪样本的能力，而不需要额外的空间
在这里插入图片描述

LAMOL

DATA FORMATTING

受decaNLP（Bryan McCann & Socher，2018）使用的协议启发，我们使用的数据集的样本被框定在一个类似SQuAD的方案中，其中包括上下文、问题和答案。虽然LM同时是一个QA模型，但数据格式取决于训练目标。当作为QA模型进行训练时，LM在阅读上下文和问题后学习解码答案。另一方面，当作为LM训练时，LM学习解码给定的三个部分的token。

除了上下文、问题和答案之外，我们还增加了三个特殊的token：

  • ANS ：插在问题和答案之间。由于在推理过程中，上下文和问题是已知的，所以在输入ANS后开始解码
  • EOS ：每个样本的最后一个token，遇到EOS时停止解码
  • GEN ：伪样本生成期间的第一个token，解码在输入GEN后开始

在这里插入图片描述

TRAINING

用一个系数 γ \gamma γ 来平衡伪样本的数量，并且置信度不够高的时候，生成的样本会被丢弃

同时优化两个损失
在这里插入图片描述

TASK-SPECIFIC TOKENS

在训练许多任务时，对所有任务使用相同的GEN token是有问题的，因为旧任务的部分在理论上是呈指数级下降的。例如，如果 γ = 0.01 γ=0.01 γ=0.01，那么在训练第二个任务时，第一个任务的部分约为 1%，但在训练第三个任务时，只有约 0.01 0.01% 0.01。这个问题对LLL绝对是有害的。为了缓解这个问题，我们可以选择用每个任务的特定任务token来取代GEN token，以通知模型生成属于特定任务的伪样本

在这个设定下，所有的之前的任务都有相同的伪样本数量 γ ∣ T i ∣ \gamma|T_i| γ∣Ti​∣

请注意，由于每个任务都使用特定的token，随着更多任务的训练，LM的词汇量和嵌入权重会略有增加

EXPERIMENTAL RESULTS

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

CONCLUSION

我们提出了LAMOL，一种基于语言建模的简单而有效的LLL方法。一个单一的LM就能实现LLL，无需额外的模型组件，也无需保留旧的样本。此外，任何预训练的LM都可以用来利用大量的未标记文本来改善LLL。最后，只要有需要，就可以增加更多的任务

Remark

方法出奇的简单，大概可以作为一个base method？ICLR出品确实顶

爱睡觉的Raki
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习16 -- Lifelong Learning 终生学习
谢杨易的博客
09-14 1万+
1 什么是lifelong learning Lifelong learning终生学习，又名continuous learning，increment learning，never ending learning。通常机器学习中，单个模型只解决单个或少数几个任务。对于新的任务，我们一般重新训练新的模型。而LifeLong learning，则先在task1上使用一个模型，然后在task2上仍然使用这个模型，一直到task n。Lifelong learning探讨的问题是，一个模型能否在很多个task上
【Lifelong learning】LAMOL: LANGUAGE MODELING FOR LIFELONG LANGUAGE LEARNING
Baigker的博客
12-01 618
链接：http://arxiv.org/abs/1909.03329v2 简介 之前的终身学习模型大多应用于CV和游戏领域，在nlp方面的应用比较少，本文因此提出了一个语言专用的终身学习模型：LAMOL。 LAMOL是一种语言模型，它可以同时学习解决任务和生成训练样本。当模型为一个新任务进行训练时，它生成训练前任务的伪样本，同时生成新任务的数据。因而LAMOL不需要额外的存储空间。 结果表明，LAMOL可以在没有任何不妥协迹象的情况下防止 catastrophic forgetting，并且可以用一个模型连
Lifelong Learning
孙坤的博客
04-15 391
Lifelong Learning https://www.forbes.com/sites/kpmg/2018/04/23/th...
Life Long Learning(LLL) 终身学习(增量学习)(Continuous Learning & Incremental Learning)
hxxjxw的博客
08-20 2187
人在学习的时候，只有一个大脑，从初中到高中到大学，都是用同一个大脑在学习的 然而在机器学习当中，机器学习的情形真的和人很不一样 机器学习对于每一个作业都会训练一个不同的模型吗，例如从作业1到作业3会训练3个不同的模型 那么为什么我们不每一次作业都训练同一个模型呢 使用同一个模型来进行学习，就是life long learning Life Long Learning, 也叫Continuous Learning, Never Ending Learning, Incremental Lea..
机器学习-48-Life-long Learning(终生学习)
迷雾总会解
01-20 5710
我们是否可以只用一个网络结构（注意，这里的网络结构并非是固定的。也许随着任务的需要，得自行扩展网络），在不同的任务上分别训练，使得该网络能够胜任所有的任务呢？ 这就是Life-long learning 所要研究的课题。
web-service:Raki音乐应用程序的Web服务
05-22
＃Raki音乐应用程序Web服务Raki Music Android应用程序已发布。 您可以从此链接访问它。 Web服务开发过程中使用了Spring库，而ORM使用了Hibernate。 如果这是您的第一次或正在考虑对Spring和Hibernate感兴趣。 查看...
life long learning 学习笔记
yjli98的博客
11-17 467
学习来源：李宏毅2020机器学习深度学习(完整版)国语 链接:https://www.bilibili.com/video/BV1JE411g7XF?p=99 life long learning 也可称为： 终身学习的目的：同时学会多个技能 为了达成life long learning 需要解决的问题：1、保留多任务的知识（不遗忘） 2、知识迁移 3、有效率的模型扩张 举例：使用nn对手写数字0进行识别，如图的两个问题，如果先学task1，再学task2，会使task1的表现变差
【机器学习】LifeLong Learning（终身学习）介绍
敲代码的quant的博客
04-28 1万+
下面的文章转自（已获作者允许）： 2020机器学习前沿技术----LifeLong learning - stephon的文章 - 知乎 文章介绍了关于机器学习比较前沿的一项技术，也就是LifeLong Learning。这篇文章也对LifeLong Learning与Multi-task Learning以及Transfer Learning进行了对比，所以我将其进行了转载，其中对其排版进行了一...
20170114经济学人封面文章Lifelong Learning
hello world
02-03 2882
2017年01月14日 封面文章 Leader： Lifelong LearningHow to survive in the age of automation1.一些好的资料，如公众号里的文章终身学习 2.评论观点 3.官方翻译终身学习下面是原文文章It is easy to say that people need to keep learning throughout their car
Lifelong Machine Learning
09-15
Lifelong Machine Learning (Synthesis Lectures on Artificial Intelligence and Machine Learning) By 作者: Zhiyuan Chen – Bing Liu ISBN-10 书号: 1681733021 ISBN-13 书号:: 9781681733029 Edition 版本: 2 Release Finelybook 出版日期: 2018-08-14 pages 页数: (207 ) $79.95 Book Description to Finelybook sorting Synthesis Lectures on Artificial Intelligence and Machine Learning Lifelong Machine Learning, Second Edition 版本 is an introduction to an advanced machine learning paradigm that continuously learns by accumulating past knowledge that it then uses in future learning and problem solving. In contrast, the current dominant machine learning paradigm learns in isolation: given a training dataset, it runs a machine learning algorithm on the dataset to produce a model that is then used in its intended application. It makes no attempt to retain the learned knowledge and use it in subsequent learning. Unlike this isolated system, humans learn effectively with only a few examples precisely because our learning is very knowledge-driven: the knowledge learned in the past helps us learn new things with little data or effort. Lifelong learning aims to emulate this capability, because without it, an AI system cannot be considered truly intelligent. Research in lifelong learning has developed significantly in the relatively short time since the first edition of this book was published. The purpose of this second edition is to expand the definition of lifelong learning, update the content of several chapters, and add a new chapter about continual learning in deep neural networks—which has been actively researched over the past two or three years. A few chapters have also been reorganized to make each of them more coherent for the reader. Moreover, the authors want to propose a unified framework for the research area. Currently, there are several research topics in machine learning that are closely related to lifelong learning—most notably, multi-task learning, transfer learning, and meta-learning—because they also employ the idea of knowledge sharing and transfer. This book brings all these topics under one roof and discusses their similarities and differences. Its goal is to introduce this emerging machine learning paradigm and present a comprehensive survey and review of the important research results and latest ideas in the area. This book is thus suitable for students, researchers, and practitioners who are interested in machine learning, data mining, natural language processing, or pattern recognition. Lecturers can readily use the book for courses in any of these related fields. Preface Acknowledgments Introduction Related Learning Paradigms Lifelong Supervised Learning Continual Learning and Catastrophic Forgetting Open-World Learning Lifelong Topic Modeling Lifelong Information Extraction Continuous Knowledge Learning in Chatbots Lifelong Reinforcement Learning Conclusion and Future Directions Bibliography Authors’Biographies Blank Page
AN ALTERNATIVE APPROACH TO EFFICIENT ENSEMBLE AND LIFELONG LEARNING
06-02
计算机视觉github开源论文，BATCHENSEMBLE: AN ALTERNATIVE APPROACH TO EFFICIENT ENSEMBLE AND LIFELONG LEARNING
什么是终身学习（Life Long Learning / Continuous Learning / Never Ending Learning / Incremental Learning）
蓝鲸鱼的博客
05-03 6112
文章目录1. 概念区分1.1 Life Long v.s. Multi task1.2 Life Long v.s. Transfer2. 终身学习2.1 Selective Synaptic Plasticity2.2 Gradient Episodic Memory (GEM)2.3 Progressive Neural Networks2.4 PackNet2.1.5 Compacting, Picking, and Growing(CPG)2.1.6 Generating Data2.1.7 不同架
Life-Long Learning（LLL）终身学习的理解
菜菜小孙的blog
08-04 8467
Life-Long Learning（LLL） 看了李宏毅老师的Life-Long Learning视频，以及粗略阅读了A continual learning survey:Defying forgetting in classification tasks这篇综述文章，菜菜的小孙对LLL有了初步的认知。（每次换方向都会秃头，记录一下今日2020年8月3日小孙又去剪了头发，心好痛） 目录Life-Long Learning（LLL）一、什么是lifelong learning？二、longlife lea
【Lifelong learning】Lifelong Language Knowledge Distillation
Baigker的博客
12-02 2353
链接：http://arxiv.org/abs/2010.02123 简介 Lifelong Language Knowledge Distillation终身语言知识提炼，是一种利用知识蒸馏的终身学习方法。 其主要思想是：每次遇到新任务时，不直接让model去学习，而是先在任务上训练一个teacher model，然后运用知识蒸馏技术，将知识传递给model。 知识蒸馏：有两个模型： student model（小）和teacher model（大）。student model需要通过训练，模仿teac
LML(Lifelong Machine Learning)介绍
TonLP的博客
11-04 4744
LML(Lifelong Machine Learning)介绍最近做评论分析碰到一些瓶颈，阅读了众多论文，还是觉得刘兵老师靠谱，实用派的翘楚。于是了解了他近年来发的论文，发现了一个很新颖的词”lifelong”，而且还在KDD 2016做tutorial，题为《Lifelong Machine Learning》。何为Lifelong Machine Learning传统的ML（他们叫做ML 1.
增量学习(Incremental Learning)小综述
热门推荐
abcdefg90876的博客
02-25 2万+
NewBeeNLP公众号出品作者@Maple小七北京邮电大学·模式识别与智能系统1. 增量学习的概念1.1 什么是增量学习人类有终身不断获取、调整和转移知识的能力...
Language Modeling
渐渐遗忘的记忆
04-05 2126
一，语言模型 1，基本定义 一个语言模型包含一个词汇集合VVV和一个函数p(w1,w2,...,wn)p(w1,w2,...,wn)p(w_1,w_2,...,w_n)，并且该函数满足： 对于任意的词序列<w1,w2,...,wn>∈S,p(w1,w2,...,wn)≥0<w1,w2,...,wn>∈S,p(w1,w2,...,wn)≥0\in S,p(w_1,...
顶会速递 | ICLR 2020录用论文全集
语言智能技术笔记簿
03-10 1万+
由深度学习三巨头Yoshua Bengio和Yann LeCun牵头创办的人工智能顶会ICLR今年最终收到2594篇投稿，共687篇论文被接收，其中48篇orals，108篇spotlights，531篇posters，录取率为26.5%，相比去年的31.4%略有下降。华人学者占比为47%。这篇博客为大家列出全部录用的论文列表，方便大家自取。
李宏毅：deep learning for language modeling
jiaojiaolou的博客
05-20 546
1、language modeling 2、n-gram 3、neural network based language model 4、RNN-based LM 与NN不一样的是：NN是只看当前的input来得出output，RNN是根据之前所有的input来看当前的output。 eg：RNN中，要得到“知道”，它就要知道之前的所有的词汇来决定当前的output。...
顶会速递 | ICLR 2020录用论文之自然语言处理篇
语言智能技术笔记簿
03-12 5192
人工智能顶会ICLR 2020录用的自然语言处理相关的研究论文已经为大家准备好，欢迎Mark学习！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值