![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/bae0b3962eedb05e1d64bd72ab41301b.jpeg)
编辑 | Jane 出品 | AI科技大本营(ID:rgznai100)
【导语】7 月 31 日晚,自然语言处理领域最大顶会 ACL 2019 公布了今年的八个论文奖项,其中最佳长论文的获奖者被来自中国科学院大学、中国科学院计算技术研究所、腾讯 WeChat AI、华为诺亚方舟实验室、伍斯特理工学院等机构的联合论文所斩获。除了这篇最佳长论文,腾讯在今年的 ACL 会议上还有哪些研究论文被录取?今天,我们就用这篇文章为大家做介绍。
1、《Bridging the Gap between Training and Inference for Neural Machine Translation》桥接神经网络机器翻译训练和推导
该论文是今年 ACL 的最佳长论文,该论文由腾讯微信AI与中科院计算所、华为诺亚方舟实验室联合完成。本文的工作解释了暴露偏差和过度校正现象,并将所提出的方法与试图决该类问题的其他方法进行了对比。这项工作中提出的方法对学术研究以及实际应用都有非常重要的意义。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/81a149ed4d6c388590b4a66cfa7e3889.jpeg)
论文地址: https://www.aclweb.org/anthology/P19-1426
当前主流的神经网络机器翻译(NMT)以自回归的方式逐词产生译文。在训练时,模型以参考译文中的词语作为翻译历史进行预测;而在推导时,模型必须从头开始生成整个序列,即以模型的输出为历史,依赖的上文分布与训练时不同,这会导致推导时翻译序列上的误差累积,该问题被称为Exposure Bias(暴露偏差)。
此外,词级别的训练方法要求所预测的序列与参考译文序列之间严格匹配,这会导致模型对那些与参考译文不同但是合理的译文做过度校正。 为了解决上述问题,在模型训练期间,作者从参考译文序列与模型自身预测出的序列中采样出历史词语,作为模型的输入。除了词级别采样,本文的另一个贡献在于作者提出了句子级的采样方法。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/6fb37492410b5e664ed82e4c91a42642.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/53148647e8f761cbdf1e5a88ad1b860e.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/3704cff0f37b6c099f5ed6d30a3659bf.png)
2、《Incremental Transformer with Deliberation Decoder for Document Grounded Conversations》基于文档级知识的对话: 带有推敲解码机制的增量式 Transformer
本文由腾讯微信AI与华中科技大学等联合完成。本文主要研究基于文档知识的对话,在给定文档的内容时生成上下文连贯、正确利用知识的回复。![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/79366f52348262deb783c211b8410f3a.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/71879a71a4b40b5c4db3cce6bea0194f.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/f8da189de13728ba92ddb9b740cadbad.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/d8352405d0cb57561c6f3b638710e723.png)
3、《GCDT: A Global Context Enhanced Deep Transition Architecture for Sequence Labeling》GCDT:全局上下文增强的深度转换架构序列标注模型
该论文由腾讯微信AI与北京交通大学联合完成。在本文中,作者提出了一个利用全局上下文增强的深度转换架构 GCDT(Global Context Enhanced Deep Transition)用于序列标注任务。![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/049231760020d3c61ac76949e0b1a90d.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/3f001ddd404719ad32a4eda374b4b769.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/c14b97a11fbdb0432b0c3e67ba425380.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/52de9daf76b17db4e9d3959067a25072.jpeg)
4、《Retrieving Sequential Information for Non-Autoregressive Neural Machine Translation》序列信息指导的非自回归神经机器翻译
该论文由腾讯微信AI与中科院计算所联合完成。在论文中,针对神经机器翻译模型。非自回归模型容易产生过翻译和漏翻译错误的训练缺陷,作者提出了两种方法来为非自回归模型引入序列信息。![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/d6fc0c3c960a8cb6ba3abec6543858ee.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/638052eca633e1a5bb262e953b8dbc38.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/b27c1e7b9dce31dfdbb4c21a31b3b71c.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/ea767418169083d41fad54dbe4b627c6.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/67b07bf4bf52b3005cab7a67a5f9cb01.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/3af021ccb4a227aa045de11d33754937.png)
5、《Rhetorically Controlled Encoder-Decoder for Modern Chinese Poetry Generation》基于修辞控制编码解码的现代汉语诗歌生成
本文由腾讯微信AI与美国罗格斯大学等合作完成。在这篇论文中,作者提出一种基于修辞控制的编码-解码模型,尝试将比喻、拟人等常用修辞融入用于现代汉语诗歌自动创作中。![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/9e35914dcbda0119ff64bb97fbd468a6.jpeg)
论文地址: https://www.aclweb.org/anthology/P19-1192 近年来诗歌生成在文本自动生成领域得到了较大的关注。现代汉语诗歌中修辞是一种增强诗艺术效果的常用方法,在这篇论文中,作者尝试将比喻、拟人等常用修辞融入诗歌自动创作中。 具体而言,本文提出一种基于修辞控制的编码-解码模型用于现代汉语诗歌生成。该论文也是第一个将修辞引入文本生成任务中,以解决现有生成结果多样性不足的问题。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/f75ae7fa80eb8c1d15c854e0153f5b5e.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/eda146f108dc4b78d00e2d040909a080.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/96b425edaf5db173e561276b2a6c2b12.jpeg)
6、《Improving Multi-turn Dialogue Modelling with Utterance ReWriter》通过表达改写提升多轮对话系统效果
本文由腾讯微信AI与马克思普朗克研究所(Max Planck Institute Informatics)等联合完成。指代消解和信息省略是多轮对话系统面临的主要挑战之一。本文构建了一个高质量的中文对话改写数据集用于指代消解和信息补全,同时提出了一种表达(utterance)改写模型。![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/3664651dec80fcc9ace750c4aec0ffb6.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/4d6919a7cb286b7cbff880506e306535.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/cccfa6d866b9f4ca13464be803140f58.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e01d14223ae58f36e7127dc63ff389f0.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/bfbcc04e73f4f0121e4f4ea3bf9f1206.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/e99210cc85adac69934ccc4e1b5350e6.jpeg)
7、《Towards Fine-grained Text Sentiment Transfer》细粒度情感转换
本文由腾讯微信AI与北京大学联合完成。本文提出了一种细粒度情感转换模型Seq2SentiSeq,实现细粒度情感控制;另一方面,本文提出了一种环路强化学习(CycleRL)训练方法,解决标注数据稀缺的问题。![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/72bb0bc0719351946db2f8555be3a18f.jpeg)
论文地址: https://www.aclweb.org/anthology/P19-1194 细粒度情感转换是指给定文本和实数值情感强度,在保持文本语义的前提下,对文本进行改写,使之表达相应情感的任务。示例见下图,其中情感强度0表示最负面,1表示最正面。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/0701a5a0b222e32a3cfc5691efad104b.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/6e85ec8661a8d02dc4745f39a3d3499e.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/13e6364072ca9ad4595ebf25de356fd5.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/0d3fa5ec86b711e996da81a841898c51.jpeg)
8、《Key Fact as Pivot: A Two-Stage Model for Low Resource Table-to-Text Generation》以关键事实为枢轴:一种两阶段的低资源的表格到文本生成模型
本文由腾讯微信AI与北京大学联合完成。这篇论文中,作者希望通过只使用少量“表格-文本”形式的样本即可实现表格到文本生成模型的训练。论文地址: https://www.aclweb.org/anthology/P19-1197 将结构化的表格转换成非结构化的文本在自动内容生成方面具有重要应用(如天气预报生成、NBA新闻生成、人物生平生成等)。已有工作通常使用序列到序列模型(seq2seq model)来对这一问题建模,但序列到序列模型需要使用海量“表格-文本”形式的样本进行训练,而这种样本在实际场景中构造代价巨大,制约了这些模型的实际应用。
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/48e1eca95c8e02dce31707329749fc26.png)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/2208a6f7aafc71715ebaaad64c0633b6.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/8ccf4588de4311a2c09dd35c2c4f062b.png)
本文由腾讯微信AI与清华大学联合完成。本文提出了目前最大的篇章级精标注关系抽取数据集DocRED。目前DocRED已可公开获取,同时,还有相关竞赛,对这个领域感兴趣的小伙伴们可以关注,参与一波~
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/db03a6a19f58188b01a62a9976ff75ca.jpeg)
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/7d20cb8fe5f9559551e35a46681e3ac9.jpeg)
(*本文为 AI科技大本营整理文章,转载请联系微信 1092722531)
社群福利
扫码添加小助手,回复:大会,加入2019 AI开发者大会福利群,每周一、三、五更新技术福利,还有不定期的抽奖活动~
◆
精彩推荐
◆
![640?wx_fmt=jpeg](https://i-blog.csdnimg.cn/blog_migrate/bae0b3962eedb05e1d64bd72ab41301b.jpeg)
60+技术大咖与你相约 2019 AI ProCon!大会早鸟票已售罄,优惠票速抢进行中......2019 AI开发者大会将于9月6日-7日在北京举行,这一届AI开发者大会有哪些亮点?一线公司的大牛们都在关注什么?AI行业的风向是什么?2019 AI开发者大会,倾听大牛分享,聚焦技术实践,和万千开发者共成长。
推荐阅读
认知智能的突围:NLP、知识图谱是AI下一个“掘金地”?
自动驾驶激荡风云录:来自圈内人的冷眼解读
华人“霸榜”ACL最佳长短论文、杰出论文一作,华为、南理工等获奖
5G+AI重新定义生老病死
干货 | 20个Python教程,掌握时间序列的特征分析(附代码)
2019 年度程序员吸金榜:你排第几?
字节跳动入局全网搜索;思科回应中国区裁员;IntelliJ IDEA 新版发布! | 极客头条
AI+DevOps正当时
知名饮料制造商股价暴涨500%惊动FBI,只因在名字中加入了"区块链" ?
![640?wx_fmt=png](https://i-blog.csdnimg.cn/blog_migrate/2cba20d74577dec51dc9daf89a6a59e5.png)