[2017-NIPS-GOOGLE] Attention is all your need

论文地址：

https://arxiv.org/pdf/1706.03762.pdf

主要方法

抛弃使用Recurrent 和convolutional neural networks的结果。 只使用Self-Attention结构。优点：

1, 效果更好, 来自能够更好的捕捉long-range dependencies,

2, 更好的并行化.
3, 训练速度更快.

结构:

包含encoder 和的decoder两个部分. encoder可以有很多层, decoder也可以有很多层.

Encoder

encoder包含两个部分. 一个Self-Attention组件, 一个全连接ffnn(feed forward neural network)层.

Self-Attention

一个句子中的所有词($m$个)的embedding假设为: $X_{n\ast u}=(x_1,x_2,...x_n)$, $x_i$为$u$维.
需要将所有的词转换出3个向量:
$Q=(q_1,q_2,...q_n{)}^T$ 使用转换矩阵 $W_{q\in R^{u\ast z}}$, $Q=X{W}_q$, $q_i$维度为$d^{}$