《Convolutional Sequence to Sequence Learning》 阅读笔记

论文地址：Convolutional Sequence to SequenceLearning
代码地址：facebookresearch/fairseq

1. 为什么要选择 CNN 做机器翻译?

 相比 RNN:

• CNN 能够并行处理数据，计算更高效;
• CNN 是层级结构，底层的CNN捕捉相聚较近的词之间的依赖关系，高层CNN捕捉较远词之间的依赖关系。

2. 模型

1. Position Embedding

  输入为:  x = ($x_1,...,x_m$)

  词向量表示输入:  w = ($w_1,...,w_m$) 其中 $w_j\in R^f$, 词汇表为 $D\in R^{V\times f}$

  位置信息: p = ($p_1,...,p_m$) 其中 $p_j\in R^f$

  输入最终表示向量:  e = ($w_1+p_1,...,w_m+p_m$) 其中 $e_j\in R^f$

2. Convolutional Block Structure

encoder:

假设词向量的维数为 d 维

先把 e 做线性映射:
$h_i^0=W{e}_i+b\in R^h$

把一次"卷积计算 + 非线性计算" 看做一个单元 Convolutional Block.

卷积计算: 对原输入进行卷积窗口大小为 k 的 2h个卷积核做卷积运算, 则每次卷积生成两列 h维的向量，以$k=3$为例 $f_i^1=Conv(h_{i-1}^0,h_i^0,h_{i-1}^0)\in R^{2h}$

注: 卷积方式是"SAME" 需要填充边界
非线性计算: 非线性计算部分采用的是门控制结构 gated linear units(GLM). 计算如下:
$GLU(f_i^1)=f_{i,1:d}^0\otimes \delta (f_{i,d+1:2d}^0)\in R^h$

残差连接: 把输入与输出相加，输入到下一层网络中。
$h_i^l=GLU(f_i^l)+h_i^{l-1}$  $i=1,2,..m$

L层卷积后生成向量可表示为 $h_i^L\in R^h$, 再$h_i^L$ 做线性映射:
$z_i^u=W_e{h}_i^L+b_e$ 其中 $W_e\in R^{d\times h}$

decoder:

与encoder类似: 设目标词为 $t_n$ 表示第 n 步的 decoder，首先在开始位置填充两个 padding: <p>、一个句子开始标记符:<s>, embedded 成 $t_{-2},t_{-1},t_0,t_1,...,t_{n-1}$ , 将每个 $t_j\in R^d$ 线性映射到 $g_j^0\in R^h$: $g_i^0=W{t}_i+b\in R^h$.

卷积计算 + 非线性计算: $y_j^l=GLU(Conv(g_{j-3}^{l-1},g_{j-2}^{l-1},g_{j-1}^{l-1}))$, 然后将 $y_j^l\in R^h$ 做线性映射:
$r_n^l=W_z{y}_n^l+b_z+t_{n-1}$

attention:

在每一个卷积层都会进行 attention 的操作，得到的结果输入到下一层卷积层

${\alpha }_{n,i}^l=\frac{exp((z_i^u{)}^T{r}_n^l)}{{\sum }_{k=1}^{m}exp((z_i^u{)}^T{r}_n^l)}$ 其中 $i=1,...,m$

=> $x_n^l={\sum }_{i=1}^m{\alpha }_{n,j}^l(z_i^u+e_i)$

=> $c_n^l=W{x}_n^l+b\in R^h$ 其中 $W\in R^{h\times d}$

=> $g_n^l=y_n^l+c_n^l+g_n^{l-1}$

output:

=> $d_n=W{g}_n^L+b\in R^d$

=> $o_n=W_o{d}_n+b_o$ 其中 $W_o\in R^{|V_t|\times d},b_0\in R^{|V_t|}$