Seq2Seq+Attention

一、Encoder-Decoder框架

Encoder-Decoder结构先将输入数据编码成一个上下文向量c：

得到c有多种方式，最简单的方法就是把Encoder的最后一个隐状态赋值给c，还可以对最后的隐状态做一个变换得到c，也可以对所有的隐状态做变换。

拿到c之后，就用另一个RNN网络对其进行解码，这部分RNN网络被称为Decoder。

在Encoder-Decoder结构中，Encoder把所有的输入序列都编码成一个统一的语义特征c再解码，因此， c中必须包含原始序列中的所有信息，它的长度就成了限制模型性能的瓶颈。如机器翻译问题，当要翻译的句子较长时，一个c可能存不下那么多信息，就会造成翻译精度的下降。

二、Attention机制

Attention机制通过在每个时间输入不同的c来解决这个问题，下图是带有Attention机制的Decoder：

每一个c会自动去选取与当前所要输出的y最合适的上下文信息。具体来说，我们用aij衡量Encoder中第j阶段的hj和解码时第i阶段的相关性，最终Decoder中第i阶段的输入的上下文信息ci就来自于所有hj对aij的加权和。

至此，关于Attention模型，我们就只剩最后一个问题了，那就是：这些权重aij是怎么来的？

 

1）encode对输入序列编码得到最后一个时间步的状态c，和每个时间步的输出h，其中c又作为decode的初始状态z0。

2）对于每个时间步的输出h与z0做匹配也就是match操作，得到每个时间步的匹配向量α01，如图1。

 

3）对所有时间步的输出h与z0的匹配度α0，使用softmax做归一化处理，得到各个时间步对于z0的匹配分数。

4）求各个时间步的输出h与匹配分数的加权求和得到c0，作为decode的下一个时间步的输入，如图2。

 

5）计算各个时间步的输出h与z1的匹配度得到c1作为decode下一个时间步的输入，如此一步一步重复下去，如图3。

Attention 原理的3步分解：

第一步：query 和 key 进行相似度计算，得到权值

第二步：将权值进行归一化，得到直接可用的权重

第三步：将权重和 value 进行加权求和

 

 

三、seq2seq模型的优化目标

seq2seq模型的目标在于根据输入序列的信息最大化目标输出序列的概率，类似于语言模型的思路。对于所有的训练样本，有以下形式的损失函数：

 

其中N为训练样本数量， Xn, Yn为每个样本对应的输入和输出序列， θ为待学习的参数向量。每一个p(Yn|Xn, θ)都由Encoder-Decoder框架生成，其中包含在神经网络中的大量参数，可通过梯度下降的方式逐步优化。

 

四、beam search

五、BELU度量指标

BELU最初是评价机器翻译的指标，所以我们会以翻译（法语—英语）为例进行讲解。

J’ai mangé trois filberts.

下面两句为英语参考译文：

I have eaten three hazelnuts.
I ate three filberts.

假设下面的翻译是由我们训练的神经网络产生。

I ate three hazelnuts.

问题来了：如何给上述翻译结果打分。

要想利用机器学习来建立一个翻译系统，就需要一个实值分数来对其性能进行衡量。如果我们能够获取潜在的最佳得分，便能够计算它与实际值之间的误差。这能够在训练时为系统提供反馈，通过最小实际分数与潜在分数之间的差值来改进翻译模型，并通过查看同一任务上训练过的系统得分比较不同的模型。

假设：如果输出句子中的单词在任何一个参考句出现，就给它打1分，如果没有出现，打0分。为了使计数标准化，使分数始终介于0和1之间。我们可以将某个参考译文中出现的单词总数除以输出句子中的单词总数。我们称该方法为unigram precision。

在上面的翻译示例中，“I ate three hazelnuts”，我们能够在输出句子中看到至少一个参考句中的单词，再除以单词数4，该翻译的最终得分为1。但如果换成了下面的句子，该如何打分呢？

Three three three three.

按照刚才的衡量标准，得分依旧为1。但很明显，“I ate three hazelnuts”比“Three three three three”翻译得好。但如何将这一点告知我们正在训练的系统呢？

你可以通过限定单词出现在翻译句子中的最大次数来调整分数。经过调整，“I ate three hazelnuts”计算出的得分仍然为1，而“Three three three three”为0.25。

这解决了单词简单重复的问题，但新问题来了，如果单词的排列是无序的呢？就像下面：

Ate hazelnuts I three

如果继续用刚才的方法，这个句子得分为1。通过计数可以解决这个问题，但此时并非统计单个单词，而是相邻的单词。该方法称为n-grams，n是每组单词的数量，unigrams，bigrams，trigrams以及4-grams分别由一个、两个、三个、四个单词组成。

在这个例子中，我们使用bigrams。通常来讲，BLEU的分数是unigram，bigram，trigram，4-grams的加权平均。为了简便，我们选择bigram，并忽略句子开头和结尾定义边界的单词。基于上述规则，句子排序如下：

[Ate hazelnuts]
[hazelnuts I]
[I three]

如果我们利用bigrams计算句子得分，“I ate three hazelnuts”是0分，“Three three three three”是0分，“I eat three hazelnuts”为1分，而下面这个例子也是0分：

I ate.

很明显这不是我们想要的。解决这个问题的方法是将目前的分数乘以一个简短惩罚因子。通过这个因子，得分高的候选翻译结果，能够同时在长度、词语选择、词语顺序等方面与参考句子匹配。

如果翻译结果比参考句子更长或者一样长，惩罚因子为1。

如果翻译译文长度比参考译文要短，就需要一个惩罚的机制去控制。在示例“I ate”中，句子长度为2个单词，与其最接近的参考句长度为4个单词。其简洁惩罚为0.36，乘以bigram的精度分数1，最终得分降至0.36。

该指标旨在探测输出翻译与参考语句中有多少个n-grams重叠，并乘以简洁惩罚值后输出得分。BLEU由Kishore Papineni, Salim Roukos, Todd Ward, and Wei-Jing Zhu于2002年提出，是NLP中非常流行的度量指标，特别是对于系统输出是文本信息而不是分类的任务，其中包括机器翻译和自然语言生成。它解决了我们在文章开头提出的问题：找到一种方法，告诉我们翻译结果有多“好”，并为其打分。