论文阅读：Large-Scale Transfer Learning for Natural Language Generation

最新推荐文章于 2022-11-11 16:04:53 发布
最新推荐文章于 2022-11-11 16:04:53 发布
阅读量390 收藏
点赞数
分类专栏： nlg_paper 文章标签： Large-Scale Tr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36533552/article/details/107096835
版权

迁移学习的思路是：先在大规模的未标注文本语料上无监督地预训练一个语言模型，再把预训练好的语言模型迁移到特定的任务上，对模型参数进行微调。目前迁移学习的大部分研究集中在文本分类和NLU(natural language understanding)任务上，迁移学习应用在NLG(natural language generation)任务上的研究比较少。这篇论文主要研究了迁移学习在对话系统上的应用。

作者针对对话系统试验了single-input 和 multi-input 这两种模型；因为对话系统主要有三种输入：dialogue history,facts以及previous decoded tokens；

 

single-input模型:把三种输入连接起来作为模型的输入。连接方式有三种：

最低0.47元/天 解锁文章
咕噜咕噜day
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文列表——NAACL 2019
ZSY的大后台
03-06 3390
最近NAACL-2019接收列表出了，列出感兴趣的paper，供之后阅读： 名称 类型 关键字 阅读价值 笔记 Deep Adversarial Learning for NLP tutorial Transfer Learning in Natural Language Processing tutorial Applications of Natural L...
[NLG]Few-Shot Dialogue Generation Without Annotated Data: A Transfer Learning Approach
lwgkzl的博客
10-19 498
总述： 我觉得这篇论文的主要亮点就是不要标注数据。之前赵天成的zero-shot虽然很惊艳，但是迫于每一句话都需要标注dialogu action，所以应用性不强。这篇论文就是结合了赵天成之前的两篇工作，第一个zero-shot，第二个laed（用于在大规模数据中学习找到对话潜在的latent action）。然后作者就认为，在大规模无标签对话中用laed学习可以学到隐式的dialog ac...
《 Recent Advances in Deep Learning-based Dialogue Systems 》：Neural Models in Dialogue Systems
北风吹过的秋
05-27 2073
关注微信公众号：NLP分享汇。【喜欢的扫波关注，每天都在更新自己之前的积累】 文章链接：https://mp.weixin.qq.com/s/vsEH5wj9Y5dShnH42hCX_Q 前言 本文将以2021年南洋理工大学发表的论文《Recent Advances in Deep Learning-based Dialogue Systems》为基础，介绍「深度学习对话系统」综述系列，共分七篇，本文是第二篇。本文较长，建议读者直接阅读感兴趣的部分。 开篇链接：2021深度学习对话系统大综述 [
VILLA: Large-Scale Adversarial Training for Vision-and-Language Representation Learning
连理o的博客
12-16 1595
目录IntroductionReferences Introduction We present VILLA, the first known effort on large-scale adversarial training for vision-and-language (V+L) representation learning. VILLA consists of two training stages: (i) task-agnostic adversarial pre-training; fo
【NLP】ACL-2019 录用论文
热门推荐
zkq_1986的博客
09-04 2万+
LONG PAPERS (MAIN CONFERENCE) SphereRE: Distinguishing Lexical Relations with Hyperspherical Relation EmbeddingsChengyu Wang, XIAOFENG HE and Aoying Zhou Learning from Dialogue after Deployment: Fee...
Optimization Methods for Large-Scale Machine Learning
01-13
In fact, it has been around for decades in some specialized applications, such as Optical Character Recognition (OCR). But the first ML application that really became mainstream, improving the lives ...
LSD-SLAM Large-Scale Direct Monocular SLAM.pdf
09-11
LSD-SLAM的英文原文，有英文基础的可以看一看，这篇论文是直接法的代表
Large-Scale Deep Learning for Intelligent Computer Systems.pdf
11-18
这篇PDF文档“Large-Scale Deep Learning for Intelligent Computer Systems”探讨了谷歌如何利用深度学习来优化其众多产品和服务，如Android应用、GMail、图像理解、地图、自然语言处理（NLP）、照片处理、机器人...
AAAI-19录用论文清单
TomRen
01-28 1万+
AAAI-19于1月27日在夏威夷召开，今年是33届会议。 会议录用论文清单, workshop16个，tutorials24个。 标题的词云分析： 作者单位词云(按作者人数计算/一篇文章可能有多个作者)： picture from lonelyplanet.com 下面给出接收论文的列表： 第一个数字表示投稿的序号&内容可能有缺失 9: CircConv: A S...
【论文】VILLA
Aries_young的博客
10-13 284
【论文】Gan, Zhe, Yen-Chun Chen, Linjie Li, Chen Zhu, Yu Cheng, and Jingjing Liu. Large-Scale Adversarial Training for Vision-and-Language Representation Learning. （pdf） What is VILLA VILLA（Vision-and-Language Large-scale Adversarial training）第一次在跨模态预训练的任务中.
每日论文阅读 2022-11-11
huihuixiaoxue的博客
11-11 584
2020多模态预训练
对话系统中的NLG
weixin_41089007的博客
05-20 3308
1.简介 对话系统按功能来划分的话，分为闲聊型、任务型、知识问答型和推荐型。在不同类型的聊天系统中，NLG也不尽相同。 1.1闲聊型对话中的NLG就是根据上下文进行意图识别、情感分析等，然后生成开放性回复； 1.2任务型对话中的NLG就是在NLU（领域分类和意图识别、槽填充）、DST、DPL的基础上，根据学习到的策略来生成对话回复，一般回复包括，澄清需求、引导用户、询问、确认、对话结束语等。...
笔记：文澜：桥接视觉和语言的大规模多模态预训练 WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training
weixin_44839047的博客
04-14 2303
WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training 文澜：桥接视觉和语言的大规模的多模态预训练 本文是一部分简单的（机翻+手工调整），具体请参考原文内容【Arxiv地址】 文章目录WenLan: Bridging Vision and Language by Large-Scale Multi-Modal Pre-Training摘要介绍方法 摘要 近年来，人们对多模态的语前训练模式进行了深入的探索，以建
顶会速递 | ICLR 2020录用论文之自然语言处理篇
语言智能技术笔记簿
03-12 5214
人工智能顶会ICLR 2020录用的自然语言处理相关的研究论文已经为大家准备好，欢迎Mark学习！
CVPR 2020文本图像检测与识别论文/代码
datayx的文章
06-27 1万+
向AI转型的程序员都关注了这个号????????????机器学习AI算法工程 公众号：datayxCVPR 2020 共收录 1470篇文章,算法主要领域：图像与视频处理，图像分类&...
译文BigBiGAN：Large Scale Adversarial Representation Learning
37749442的博客
08-12 1378
Abstract 对抗性训练的生成模型（GAN）最近获得了令人信服的图像合成结果。但是，尽管早期成功地使用GAN进行无监督的表示性学习，但它们很快就被基于自我监督的方法所取代。在这项工作中，我们表明图像生成质量的提升转化为表征学习性能的提高。我们的方法，BigBiGAN，建立在最先进的BigGAN模型之上，通过添加编码器和修改鉴别器来扩展到表征学习。我们广泛评估这些BigBiGAN模型的表示学习...
【论文翻译】2020.8 清华大学AI课题组——大型中文短文本对话数据集（A Large-Scale Chinese Short-Text Conversation Dataset）
Dominic的博客
09-14 4090
大型中文短文本对话数据集 写在前面：研究用，原创翻译，转载请标明出处；第一次译文，之后会跟进完善。 摘要   生成式对话的神经网络模型在建立短文本对话模型方向上取得了可喜的结果。然而，通过训练得到这样的模型通常需要大规模高质量的对话语料，而这种语料是很难获取的。在本文中，我们提供了大规模已清洗中文对话数据集LCCC，其中包含了基础版本（680万条语料）和大规模版本（共1200万条语料）。我们使用一组规则以及11万条人工标注的对话对训练的分类器，这是该数据集质量的保证。我们同时也分别针对LCCC-ba
（四十五）：VATEX: A Large-Scale, High-Quality Multilingual Dataset for Video-and-Language Research
Wangzx的博客
08-16 746
（四十五）：VATEX: A Large-Scale, High-Quality Multilingual Dataset for Video-and-Language ResearchAbstract 出处：ICCV 2019: 4580-4590 主要内容：提出多语言视频描述数据集VATEX，研究了两个任务：多语言视频字幕and视频引导机器翻译 Abstract 我们提出了一个新的大型多语言视频描述数据集VATEX，其中包含超过41,250个视频和825,000个中英文字幕。在字幕中，有超过20.6
论文阅读：PLUG AND PLAY LANGUAGE MODELS: A SIMPLE APPROACH TO CONTROLLED TEXT GENERATION（PPLM）
咕噜咕噜
07-04 2255
paper：https://arxiv.org/abs/1912.02164 code： https://github.com/uber-research/PPLM（单独 PPLM） https://github.com/huggingface/transformers/tree/master/examples/pplm（集成 Transformer） 一. NLP 研究人员们提出过各种各样的条件文本生成方式，包括， 从一个预训练语言模型开始，做精细调节，以便让它始终都能生成某种..
lsd-slam: large-scale direct monocular slam
最新发布
12-15
LSD-SLAM是一种大规模直接单目SLAM算法，它是在2013年由扬·恩格尔斯等人提出的。该算法的目标是实现在没有任何先验知识或环境特征的情况下，通过单个摄像头从连续的图像序列中建立和跟踪三维地图，并且能够同时确定...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值