2017年度NLP领域论文TOP10(附链接)

转载 2018年02月11日 00:00:00

640?wx_fmt=png

来源:PaperWeekly

本文共2672字,建议阅读5分钟
本文为大家带来10篇精选的2017度值得阅读的AI论文。


历时九天,我们收到了近千份有效读者投票,2017 年度最值得读的 AI 论文评选也正式结束。


我们根据读者的投票情况,选出了自然语言处理和计算机视觉领域“2017 年最值得读的十大论文”。让我们一起来看看过去一整年,在读者心中排名前十的 NLP 论文都有哪些?


640?wx_fmt=png


 论文 | Attention Is All You Need


640?wx_fmt=png


  • 链接 | https://www.paperweekly.site/papers/224


  • 源码 | https://github.com/Kyubyong/transformer


大道至简,Google Brain 在本文中提出了一个新型的简化网络架构—Transformer,完全基于注意力机制,完全避免了循环和卷积,完全可并行。


本文可以说是 Google 继 Highway Network 等新型神经网络之后,在神经网络模块化的又一尝试。


扩展阅读: 


  • Attention is All You Need | 每周一起读(http://mp.weixin.qq.com/s/J-anyCuwLd5UYjTsUFNT1g)


  • 一文读懂「Attention is All You Need」| 附代码实现(http://mp.weixin.qq.com/s/q3OVJypM6HZQc58JpKJgVA)


论文 | Reinforcement Learning for Relation Classification from Noisy Data


640?wx_fmt=png


  •  链接 | https://www.paperweekly.site/papers/1260


  •  源码 | 暂无


清华大学发表在 AAAI 2018 上的工作,本文将强化学习应用于关系抽取任务中,取得了不错的效果。其主要贡献是将远程监督的信号转化为强化学习中的延迟奖励,从强化学习的视角提出解决问题的思路,并克服了联合训练 instance selector 和 relation classifier 两个模块的问题。


扩展阅读: 


  • 清华大学冯珺:基于强化学习的关系抽取和文本分类 | 实录·PhD Talk(http://mp.weixin.qq.com/s/IvR0O6dpz2GJCG7UQb5kUQ)


论文 | Convolutional Sequence to Sequence Learning


640?wx_fmt=png



  • 链接 | https://www.paperweekly.site/papers/844


  • 源码 | https://github.com/facebookresearch/fairseq-py


本文提出了基于卷积神经网络(CNN)的 seq2seq 架构,和基于循环神经网络(RNN)的 seq2seq 相比,其更易于加速训练,在 GPU 上达到 9.8 倍加速,平均每个 CPU 核上也达到 17 倍加速。此外,本文工作在 WMT’14 English-German 和 WMT’14 English-French 两个数据集上,也取得相对更好的 BLUE Score。


ConvS2S 主要结构有:Position Embeddings(使编码器或解码器感知到位置变化)、Convolutional Block Structure(编码和解码上下文中的信息)、Multi-step Attention(每层解码器使用各自的注意力机制)和 Residual connections(使架构适应深度网络)。


扩展阅读: 


  • 论文解读:Convolutional Sequence to Sequence Learning(http://mp.weixin.qq.com/s/rDelYDs20Y_P9ztYknopew)


 论文 | Zero-Shot Relation Extraction via Reading Comprehension


640?wx_fmt=png


  • 链接 | https://www.paperweekly.site/papers/289


  • 源码 | https://bitbucket.org/omerlevy/bidaf_no_answer


本文提出了基于阅读理解的关系抽取方法,并且成功抽取未标注的新关系。本文的精华之处在于对阅读理解问题的转化和数据集的生成。


填空式(slot-filling)关系抽取是在给定的关系 R、实体 e 和句子 s,在 s 中找到集合 A,使得其中的元素 a 满足 R(e, a)。在阅读理解中,问题 q 可表示为 R(e, ?),回答问题等同于填空式关系抽取在 s 中找到答案,问题转化成:把 R(e,?) 翻译成问题 q,借助阅读理解抽取实体关系。


本文提出基于关系而非实体远程监督关系的众包标注方法,在可控的开销内,为此类问题构建一个非常大的数据集。


 论文 | IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models


640?wx_fmt=png


  • 链接 | https://www.paperweekly.site/papers/200


  • 源码 | https://github.com/geek-ai/irgan


本文是生成对抗网络(GAN)在信息检索(IR)中的应用。信息检索中的两种常见模式:预测给出的文档相关性;给出文档对,判别他们之间的相关性。


本文转换问题角度,得到基于对抗网络的信息检索模型(IRGAN),主要由判别模型(挖掘标注与非标注的数据中的信息,用于引导生成模型拟合给定查询的结果在文档中的分布情况)和生成模型(根据查询生成高相关性的结果)组成。


本文从三个角度使用 GAN 对信息检索建模,即:pointwise(学习人类对文档的相关性判断),pairwise(找出最具有相关性的文档对),listwise(相关性排序)。


本文的模型架构可以应用于:网页搜索在线排序(sf: LambdaRank, LambdaMART, RankNet)、item 推荐系统(cf matrix factorisation)、问答系统(退化成 IR 的评估)。


扩展阅读: 


  • SeqGAN & IRGAN | 实录·Guru Talk #12(http://mp.weixin.qq.com/s/OOaRUdlRaLDtTm59EiMIqA)


  • SIGIR2017 满分论文:IRGAN | 每周一起读(http://mp.weixin.qq.com/s/UV2mZUtt0xEyKAdhYLgZ2A)


论文 | Neural Relation Extraction with Selective Attention over Instances


640?wx_fmt=png


  • 链接 | https://www.paperweekly.site/papers/175


  • 源码 | https://github.com/thunlp/TensorFlow-NRE


本文提出使用卷积神经网络得到句子分布式表示,并结合句子级注意力机制动态减弱噪声干扰的远程监督关系抽取模型。


本文在得到句子分布式表示 x,巧妙地引入关系的向量表示 r,并使用 r 与 x 结合得到关系在每个句子上的注意力表示,最后经过 softmax 网络得到每种关系在句子集预测值,从而动态的去除了噪声对远程监督关系抽取的影响。


与现有神经网络模型相比,本文模型不仅可以综合利用所有文本数据,而且可以降低错误标注数据的影响,抽取准确率取得显著提高。


扩展阅读: 


  • Knowledge Representation and Acquisition | 实录·PhD Talk #08(http://mp.weixin.qq.com/s/MxrdpXbbIfks2X5BIXkaaw)


  • 关于远程监督,我们来推荐几篇值得读的论文 (http://mp.weixin.qq.com/s/ViQqeER1NXtJOtnLg76TWg)


  • 远程监督在关系抽取中的应用(http://mp.weixin.qq.com/s/iswzEZgOMEdj3_qLnRUmTQ)


 论文 | Unsupervised Neural Machine Translation


640?wx_fmt=png


  • 链接 | https://www.paperweekly.site/papers/1036


  • 源码 | 暂无


神经机器翻译在近几年取得了巨大进步,日渐趋于成熟,但其仍然严重依赖于稀缺的平行标注语料。当源语言或目标语言是小众语种时,此问题更加突出。


本文作者认为无监督神经机器翻译是大势所趋,完全舍弃了平行数据,提出了用完全无监督的方式训练神经机器翻译系统的新方法,该方法只需使用单语语料库。在统一的向量空间上进行“意译”,使用 denosing 和 backtranslation 来强化这一目标。


该系统在 WMT 2014 法语 - 英语和德语 - 英语翻译中分别取得了 15.56 和 10.21 的 BLEU 得分。


论文 | Joint Extraction of Entities and Relations Based on a Novel Tagging Scheme


640?wx_fmt=png


  • 链接 | https://www.paperweekly.site/papers/477


  • 源码 | https://github.com/zsctju/triplets-extraction


实体和关系的联合抽取问题作为信息抽取的关键任务,其实现方法可以简单分为两类:一类是串联抽取方法,另一类是联合抽取方法。


串联抽取方法将该问题分解为两个串联的子任务,即先采用实体识别模型抽取实体,再采用关系抽取模型得到实体对之间的关系,其优势是便于单独优化实体识别任务和关系抽取任务,但缺点是它们以获取三元组的中间产物(实体或者关系类型)为目标,而实体识别的结果会进一步影响关系抽取的结果,导致误差累积。


不同于串联抽取方法,联合抽取方法使用一个模型同时抽取实体及其关系,能够更好的整合实体及其关系之间的信息。但现有的联合抽取方法也存在诸多问题。


本文提出了一个新的联合抽取的模型框架来解决此类问题,并在公开数据集 NYT 上取得了很好的效果。


扩展阅读: 


  • 基于新标注模式的实体和关系联合抽取方法 | 每周一起读(http://mp.weixin.qq.com/s/y9v4OhmMjqNOqILCp0Ndmw)


  • 基于新标注模式的实体和关系联合抽取方法 | 论文访谈间 #07(https://mp.weixin.qq.com/s/_a7HyriZVnx9Af7fWM7gnQ)


  • 基于神经网络的实体识别和关系抽取联合学习 | PaperWeekly #54(http://mp.weixin.qq.com/s/AhoEzujMVUU-P7j5z_8sVQ)


论文 | A Structured Self-attentive Sentence Embedding


640?wx_fmt=png


链接 | https://www.paperweekly.site/papers/1081


源码 | https://github.com/ExplorerFreda/Structured-Self-Attentive-Sentence-Embedding


本文发表于 ICLR 2017,作者提出一个新的自注意力模型,能提取句子中的重要部分进行 embedding,是一篇可以直接看公式理解作者思路的论文。


本文最大的亮点在于提出了自注意力机制,无需外部信息即可对自身进行 attention。此外,本文还提出用二维矩阵表示句子,矩阵的不同行表示句子不同层面的信息,使句子表达信息更丰富,解决了句子被压缩成一维向量时的信息损失问题。


论文 | Dialogue Learning With Human-In-The-Loop


640?wx_fmt=png


  • 链接 | https://www.paperweekly.site/papers/1436


  • 源码 | https://github.com/facebook/MemNN/tree/master/HITL


一般的对话机器人训练着重于在固定数据集上训练,本文使用强化学习基于在线反馈训练对话模型,在合成语境中对模型各方面性能进行测试,使用 Mechanical Turk 验证模型在真实环境中的表现,成功证明了使用固定数据集初始化模型后通在线学习改进模型的可行性。


在模型中,策略(Policy)使用 MemN2N(End-to-End Memory Network)实现,对话历史对应模型状态(State),问题的答案对应模型的动作空间(Action),回答的正误对应反馈(Reward),模型使用 batch size 控制模型参数更新频率以适用不同的学习模式。试验了 RBI (Reward-based Imitation),Reinforce,FP (Forward Prediction) 等学习方法在模型中的表现。


640?wx_fmt=jpeg

2017年度最值得读的AI论文 | CV篇 · 评选结果公布

2017 年,这些计算机视觉论文是你心中的最佳么?历时九天,我们收到了近千份有效读者投票,2017 年度最值得读的 AI 论文评选也正式结束。我们根据读者的投票情况,选出了自然语言处理和计算机视觉领域...
  • c9Yv2cf9I06K2A9E
  • c9Yv2cf9I06K2A9E
  • 2018年01月31日 00:00
  • 77

如何检索自然语言处理领域相关论文

如何检索自然语言处理领域相关论文
  • u012442157
  • u012442157
  • 2017年08月27日 19:38
  • 261

2017年深度学习在NLP领域的进展和趋势

本文翻译的是这篇文章 在过去的很多年里,深度学习架构和算法在某些领域,比如图像识别和语音处理,取得了令人印象深刻的进展。 最初,深度学习架构和算法在NLP领域并没能取得大的进展,但是最近深度学...
  • android_ruben
  • android_ruben
  • 2018年01月04日 21:59
  • 723

一文概述2017年深度学习NLP重大进展与趋势

作者通过本文概述了 2017 年深度学习技术在 NLP 领域带来的进步,以及未来的发展趋势,并与大家分享了这一年中作者最喜欢的研究。2017 年是 NLP 领域的重要一年,深度学习获得广泛应用,并且这...
  • Uwr44UOuQcNsUQb60zk2
  • Uwr44UOuQcNsUQb60zk2
  • 2017年12月15日 06:43
  • 273

ACL_2017年深度学习与NLP论文分享先行版(一)

本周末参加了由腾讯和中国中文信息学会青工委联合举办的ACL2017前沿论文报告会,邀请了ACL发表论文的国内学者们介绍NLP研究最新技术动态。 ACL是Annual Meeting of the ...
  • lqfarmer
  • lqfarmer
  • 2017年04月23日 12:56
  • 1986

2017最受欢迎中国开源软件奖TOP 20揭晓 阿里中间件4大项目连续霸榜!

云栖君导读:近日,开源中国公布了2017年度“最受欢迎中国开源软件”榜单,阿里中间件(Aliware)4大开源项目,数据库连接池Druid、JSON解析库Fastjson、分布式服务框架Dubbo、消...
  • eo63y6pKI42Ilxr
  • eo63y6pKI42Ilxr
  • 2017年12月25日 00:00
  • 396

硬货 | 一文解读完五篇重磅ACL2017 NLP论文

向AI转型的程序员都关注了这个号☝☝☝作者 | 洪亮劼责编 | 何永灿涉及自然语言处理、人工智能、机器学习等诸多理论以及技术的顶级会议——ACL 2017于今年7月31日-8月4日在加拿大温哥华举行。...
  • dQCFKyQDXYm3F8rB0
  • dQCFKyQDXYm3F8rB0
  • 2017年09月19日 00:00
  • 367

2017 年最推荐的五篇深度学习论文

价值 | 思考 | 共鸣简评:2017 年度最值得深入阅读的五篇深度学习相关论文,如果没读过的可以行动了。1. 最酷视觉效果:使用 CycleGAN 在不成对图像集之间转换论文:https://arx...
  • IaC743nj0b
  • IaC743nj0b
  • 2018年01月04日 00:00
  • 1231

深度学习在NLP中的应用

1. 引言     文本分类这个在NLP领域是一个很普通而应用很广的课题,而且已经有了相当多的研究成果,比如应用很广泛的基于规则特征的SVM分类器,以及加上朴素贝叶斯方法的SVM分类器,当然还有最大熵...
  • u011500062
  • u011500062
  • 2016年08月17日 10:57
  • 4031

最有影响力的自然语言处理NLP论文

最近有时间我会从前往后阅读nlper这个博客,发现“Most Influential NLP Papers”这篇文章比较有参考价值,不过写于06年初,稍早一些,但是真金不怕火炼,就放在这里供大家参...
  • GarfieldEr007
  • GarfieldEr007
  • 2016年03月10日 12:41
  • 2150
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:2017年度NLP领域论文TOP10(附链接)
举报原因:
原因补充:

(最多只允许输入30个字)