NLP论文笔记

本文整理个人读论文的一点心得，分享其中有意思的论文观点，主要作为学习笔记，如果能够对读者有帮助，那就更好了。

本文主要关注注意力机制。注意力机制最早在2014年出现在CV领域¹，之后Bahdanau，Bengio等人将这种机制运用到自然语言处理领域²，开创了基于注意力机制刷榜NLP各类任务的时代。既然注意力机制这么牛皮，那为什么不直接使用呢？于是Vaswani,Shazeer,Kaiser等人³直接抛弃了RNN，提出了自注意力机制，这就是后来的Transformer架构。之后沿着Transformer这条路发展的预训练模型就一发不可收拾了。

Bahdanau等人最早引入了注意力机制，采用的是双向RNN作为编码层，解码层采用单向的RNN。既然RNN可以添加注意力机制，那么CNN应该肯定也可以（NLP领域使用CNN）。

ABCNN基于CNN的注意力

ABCNN（Attention-Based Convolutional Neural Network），2018年Wenpeng Yin, Hinrich Sch¨utze等人做了尝试⁴.做的是Answer Selection(AS)