论文阅读
文章平均质量分 93
Baigker
这个作者很懒,什么都没留下…
展开
-
【Lifelong learning】Continual Learning with Knowledge Transfer for Sentiment Classification
链接:http://arxiv.org/abs/2112.10021原创 2022-01-05 18:44:03 · 873 阅读 · 0 评论 -
【任务型对话系统】Database Search Results Disambiguation for Task-Oriented Dialog Systems
链接:https://arxiv.org/pdf/2112.08351.pdf简介在任务型对话系统(task-oriented dialog systems)中,有时我们会遇到这样一个问题:对于用户的一个提问或要求,我们可以从数据库中找到多个可能的答案,无法做出决断。比方说下图:无论是订宾馆、订酒店,还是买衣服,这种情况在生活中很常见。我们将这种情况称为数据库搜索结果歧义( database search result ambiguity),简称DSR-ambiguity。我们通常说的歧原创 2021-12-22 15:09:30 · 906 阅读 · 0 评论 -
【对话系统】Knowledge-Grounded Dialogue Generation with a Unified Knowledge Representation
链接:http://arxiv.org/abs/2010.08824v1简介本文提出了一种基于知识的对话系统PLUG。什么是基于知识的对话系统(Knowledge-grounded dialogue systems)呢?传统的对话系统大多是一个端到端系统,将历史对话和人类的问题作为输入,从而输出应答。但是,这种方法的一个弊端是:只考虑了历史对话,而没有考虑到话题本身,即:话题的知识。比方说,我们在谈论NBA比赛,那我们会在脑海里回忆有关NBA的各种信息。为了将话题本身的知识加入到对话系统中,基于原创 2021-12-18 11:44:30 · 1062 阅读 · 0 评论 -
【Vision-Language】VLMo: Unified Vision-Language Pre-Training with Mixture-of-Modality-Experts
链接:https://arxiv.org/pdf/2111.02358.pdf简介首先我们做一些背景介绍,什么是vision-language?众所周知,目前人工智能涉及一个领域叫:多模态学习。简单而言,这个领域研究的重点在于如何将两种不同的东西联系起来,一起学习知识。比如:不同媒介:图像和文字,视频和语音不同语言:汉语和英语因此 vision-language(VL)就是研究视觉与语言的联系,比如:给一张图片让计算机生成一段描述文字(图像描述生成,Image Caption);给一张图片让原创 2021-12-16 19:59:10 · 1912 阅读 · 1 评论 -
【Lifelong learning】Achieving Forgetting Prevention and Knowledge Transfer in Continual Learning
链接:https://link.zhihu.com/?target=https%3A//arxiv.org/abs/2112.02706简介本文专注于连续学习的两个方面:连续学习(或终身学习)主要面临问题有catastrophic forgetting (CF,学了后面忘了前面)和knowledge transfer (KT,学了前面要对后面任务有帮助)。大部分工作只关注于CF,却忽视了KT。本文专注于如何鼓励知识迁移,因为大量NLP任务之间有很多相似、共同之处。预训练模型(如BERT)通常不在连原创 2021-12-12 00:29:56 · 1376 阅读 · 0 评论 -
【Lifelong learning】Efficient Continual Learning with Modular Networks and Task-Driven Priors
链接:http://arxiv.org/abs/2012.12631v2简介这是发表在ICLR 2021上的终身学习paper。贡献:除了避免遗忘之外,优秀的终身学习模型还应该具备的一般特性。比如,模型应该如何能够从过去看到的相关任务中转移知识。当这些任务是相关的时,模型还应该能够根据任务的数量进行次线性扩展,无论是在记忆方面还是在计算方面。引入一个新的基准测试套件CTrL来测试上述属性,因为当前的基准测试只关注遗忘。为了简单起见,并作为更全面评价CL模型的第一步,在本工作中,我们将注意力限制在原创 2021-12-09 12:23:44 · 158 阅读 · 0 评论 -
【Lifelong learning】Compositional Language Continual Learning
链接:https://openreview.net/forum?id=rklnDgHtDS简介在2019年之前,大多数终身学习(持续学习,LLL)主要应用于分类任务,有固定的输入和输出规模。本文提出了一种新的LLL场景:处理语言学习中常见的seq2seq的任务。构建持续的语言学习模式,提高组合性理解能力,是本文研究的核心。更具体地说,我们通过LLL来解决开放和增长的词汇问题的挑战。它需要优化两个目标:将以前学到的知识转移,并与新的知识相结合。习得的模型应该抵抗catastrophic forg原创 2021-12-03 15:42:52 · 145 阅读 · 0 评论 -
【Lifelong learning】Continual Learning for Sentence Representations Using Conceptors
转载:学习ML的皮皮虾地址:https://zhuanlan.zhihu.com/p/148223989abstractNLP 中句子表示很重要。这篇文章,我们考虑一个用于句子表示的持续学习场景:给定语料序列,我们的目标是在维持旧语料准确率的同时针对新语料优化句子表示。为了解决这个问题,我们提出使用 corpus-independent features 初始化句子编码器,然后使用 Boolean operations of conceptor matrices sequentially 更新句子.转载 2021-12-02 18:43:28 · 193 阅读 · 0 评论 -
【Lifelong learning】Lifelong Language Knowledge Distillation
链接:http://arxiv.org/abs/2010.02123简介Lifelong Language Knowledge Distillation终身语言知识提炼,是一种利用知识蒸馏的终身学习方法。其主要思想是:每次遇到新任务时,不直接让model去学习,而是先在任务上训练一个teacher model,然后运用知识蒸馏技术,将知识传递给model。知识蒸馏:有两个模型: student model(小)和teacher model(大)。student model需要通过训练,模仿teac原创 2021-12-02 16:12:33 · 2331 阅读 · 0 评论 -
【Lifelong learning】LAMOL: LANGUAGE MODELING FOR LIFELONG LANGUAGE LEARNING
链接:http://arxiv.org/abs/1909.03329v2简介之前的终身学习模型大多应用于CV和游戏领域,在nlp方面的应用比较少,本文因此提出了一个语言专用的终身学习模型:LAMOL。LAMOL是一种语言模型,它可以同时学习解决任务和生成训练样本。当模型为一个新任务进行训练时,它生成训练前任务的伪样本,同时生成新任务的数据。因而LAMOL不需要额外的存储空间。结果表明,LAMOL可以在没有任何不妥协迹象的情况下防止 catastrophic forgetting,并且可以用一个模型连原创 2021-12-01 14:59:27 · 598 阅读 · 0 评论 -
【Lifelong learning】Efficient Meta Lifelong-Learning with Limited Memory
链接:http://arxiv.org/abs/2010.02500实现终身学习的一个成功方法是通过情景记忆模块来增强学习模式(Sprechmann等人,2018年)。其基本思想是首先将之前看到的训练示例存储在记忆中,然后使用它们执行经验重放(Rolnick et al., 2019)或导出优化约束(Lopez-Paz和Ranzato, 2017;Chaudhry等人,2019),同时培训新任务。最近,d 'Autume等人(2019)提出使用这种记忆模块在语言领域进行稀疏经验回放和局部适应,在文本分类和原创 2021-11-30 19:45:27 · 820 阅读 · 0 评论