深度学习与NLP

深度学习目前已经在NLP领域站稳脚跟 ，但是还没有成熟到像语音和图像那样可以和人类PK的程度，所以目前还是上升期，有三个点非常值得关注：

1. 深度学习最初进入NLP走的是端到端的路线，靠无需人工特征知识即可达到state-of-art的卖点在NLP站稳脚跟。但是后面的发展过程中大家逐渐发现，只靠端到端是不行的。

这个不仅仅是因为很多NLP任务监督数据匮乏的问题，因为在机器翻译这种语料充足的任务中，纯端到端的方法有很快遇到了瓶颈。所以大家把目光重新投向传统方法，和传统方法结合，借助外部知识来提高端到端模型的表现逐渐成为主流。

机器翻译作为NLP领域中深度学习应用最成熟的方向，这一点尤为明显。2017年，这种结合的思路应该会进一步发展并向对话、摘要等其他NLP任务扩展，同时也会有更多通用的结合方法出现。

 

2. 强化学习开始在NLP发力。

AlphaGo的成功带来了强化学习的一轮热潮，大家很自然的会考虑用强化学习解决NLP中的一些问题。多轮对话是强化学习非常自然的应用场景，而chatbot的火热又在里面添了一把柴。另外强化学习在信息检索这种传统场景中的应用也值得关注，如多轮搜索。还有一点就是文本生成，目前文本生成还是很初级的阶段，而文本生成是可以看做一个马尔可夫决策过程，用强化学习解决的，因此很期待后续强化学习在这方面的应用。

 

3. GAN在NLP开始发力。

GAN在图像领域取得巨大成功，大家很自然的会想到把对抗的思路引入到NLP领域。目前除了在文本生成任务中结合GAN和强化学习的应用之外，多任务学习中也有对抗思想的引入。目前GAN在NLP中的效果还很一般，这个主要受制于NLP离散特性带来的梯度学习困难，因此GAN算法针对离散场景的改进是一个很有价值的研究方向，而由此带来的NLP任务突破则很值得期待。

另一方面，GAN由于刚刚进入NLP领域，它的生成模型部分一般直接套用现有的复杂模型，而判别模型则比较简单，因此有很大改进空间，例如从matching方向借鉴一些更复杂的匹配模型。先写到这里，后续想到了再补充。

 

另一知乎回答：2016年回答过这个题目，现在看来似乎并没有完全答对。也许这就是科研创新的魅力所在，就像一盒巧克力，打开前永远不知道它的口味是什么。2017年已经将近过半，其实有一些迹象已经可以从ACL 2017等会议论文窥豹一斑。我觉得2017年的发展将体现在以下几个方面：先验语言知识与深度学习模型的有机融合。从ACL 2017上NMT的相关论文可以看到，学者们纷纷将各种语言知识（如句法等）应用到NMT模型中，进一步提升机器翻译效果。该思路应该具有一定普适性。对抗训练思想的应用。虽然GAN本身尚未在NLP各领域得到广泛验证，但对抗训练思想已经在NMT等模型中开始发挥重要作用，值得关注。其他稍后想到了继续补充。

注意力机制

Attention 机制最早是在视觉图像领域提出来的，应该是在九几年思想就提出来了，但是真正火起来应该算是 2014 年 Google Mind 团队的这篇论文 Recurrent Models of Visual Attention，他们在 RNN 模型上使用了 Attention机制来进行图像分类。

随后，Bahdanau 等人在论文 Neural Machine Translation by Jointly Learning to Align and Translate 中，使用类似 Attention 的机制在机器翻译任务上将翻译和对齐同时进行，他们的工作算是第一个将 Attention 机制应用到 NLP 领域中。

接着 Attention 机制被广泛应用在基于 RNN/CNN 等神经网络模型的各种 NLP 任务中。2017 年，Google 机器翻译团队发表的 Attention is All You Need 中大量使用了自注意力（self-attention）机制来学习文本表示。自注意力机制也成为了大家近期的研究热点，并在各种 NLP 任务上进行探索。