机器阅读理解 / 知识库 / 深度学习 / 对话系统 / 神经机器翻译

Fast and Accurate Reading Comprehension by Combining Self-Attention and Convolution
@RefluxNing 推荐
Machine Reading Comprehension

本文是 CMU 和 Google Brain 发表于 ICLR 2018 的文章，论文改变了以往机器阅读理解均使用 RNN 进行建模的习惯，使用卷积神经网络结合自注意力机制，完成机器阅读理解任务。

其中作者假设，卷积神经网络可建模局部结构信息，而自注意力机制可建模全文互动（Interaction）关系，这两点就足以完成机器阅读理解任务。

Feudal Reinforcement Learning for Dialogue Management in Large Domains
@xcwill 推荐
Dialog Systems

本文来自剑桥大学和 PolyAI，论文提出了一种新的强化学习方法来解决对话策略的优化问题。

Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN
@Zsank 推荐
Recurrent Neural Networks

本文使用 ReLU 等非饱和激活函数使网络变得更具有鲁棒性，可以处理很长的序列（超过 5000 个时间步），可以构建很深的网络（实验中用了 21 层）。在各种任务中取得了比 LSTM 更好的效果。

Joint Training for Neural Machine Translation Models with Monolingual Data
@paperweekly 推荐
Neural Machine Translation

本文提出的方法可以认为是从源语言到目标语言翻译的学习与从目标语言到源语言翻译的学习的结合。中英翻译和英中翻译都使用初始并行数据来训练，在每次训练的迭代过程中，中英翻译系统将中文句子翻译成英文句子，从而获得新的句对，而该句对又可以反过来补充到英中翻译系统的数据集中。

同理，这个过程也可以反向进行。这样双向融合不仅使得两个系统的训练数据集大大增加，而且准确率也大幅提高。

Attentive Recurrent Tensor Model for Community Question Answering
@Zsank 推荐
Question Answering

社区问答有一个很主要的挑战就是句子间词汇与语义的鸿沟。本文使用了 phrase-level 和 token-level 两个层次的 attention 来对句子中的词赋予不同的权重，并参照 CNTN 模型用神经张量网络计算句子相似度的基础上，引入额外特征形成 3-way 交互张量相似度计算。

围绕答案选择、最佳答案选择、答案触发三个任务，论文提出的模型 RTM 取得了多个 state-of-art 效果。

Biased Importance Sampling for Deep Neural Network Training
@chlr1995 推荐
Importance Sampling

Importance Sampling 在凸问题的随机优化上已经得到了成功的应用。但是在 DNN 上的优化方面结合 Importance Sampling 存在困难，主要是缺乏有效的度量importance 的指标。

本文提出了一个基于 loss 的 importance 度量指标，并且提出了一种利用小型模型的 loss 近似方法，避免了深度模型的大规模计算。经实验表明，结合了 Importance Sampling 的训练在速度上有很大的提高。

Question Answering on Knowledge Bases and Text using Universal Schema and Memory Networks
@guotong1988 推荐
Knowledge Base

传统 QA 问题的解决方法是从知识库或者生文本中推测答案，本文将通用模式扩展到自然语言 QA 的应用当中，采用记忆网络来关注文本和 KB 相结合的大量事实。

Deliberation Networks: Sequence Generation Beyond One-Pass Decoding
@paperweekly 推荐
Sequence Labeling

编码器 - 解码器框架在许多任务中取得了可喜的进展，包括机器翻译、文本摘要、QA、对话系统、图像标记等，但它还没有涉及审议。

审议是人们日常生活中的一种常见行为，如阅读新闻、撰写论文/文章/书籍，在本文中，团队将审议过程引入到编码器 - 解码器框架中，并提出用审议网络进行序列生成。

原文发布时间为：2018-03-21
本文作者：让你更懂AI的
本文来自云栖社区合作伙伴“PaperWeekly”，了解相关信息可以关注“PaperWeekly”微信公众号

机器阅读理解 / 知识库 / 深度学习 / 对话系统 / 神经机器翻译 | 本周值得读