序列到序列学习（seq2seq）

1. 早期应用

2. 整体架构

1. 输入序列的信息被编码到循环神经网络编码器的隐状态中。
2. 独立的循环神经网络解码器是基于输入序列的编码信息和输出序列已经看见的或者生成的词元来预测下一个词元。
   

3. 细节

4. 预测序列的评估

1. 以通过与真实的标签序列进行比较来评估预测序列。

2. 其中lenlabel表示标签序列中的词元数和 lenpred表示预测序列中的词元数，k是用于匹配的最长的n元语法。

3. 另外，用pn表示n元语法的精确度，它是两个数量的比值：第一个是预测序列与标签序列中匹配的n元语法的数量，第二个是预测序列中n元语法的数量的比率。

4. 具体地说，给定标签序列A、B、C、D、E、F 和预测序列A、B、B、C、D，我们有p1 = 4/5、p2 = 3/4、p3 = 1/3和p4 = 0。

5. 当预测序列与标签序列完全相同时，BLEU为1。
   

5. 小结

1. • 根据“编码器‐解码器”架构的设计，我们可以使用两个循环神经网络来设计一个序列到序列学习的模型。

2. • 在实现编码器和解码器时，我们可以使用多层循环神经网络。

3. • 我们可以使用遮蔽来过滤不相关的计算，例如在计算损失时。

4. • 在“编码器－解码器”训练中，强制教学方法将原始输出序列（而非预测结果）输入解码器。

5. • BLEU是一种常用的评估方法，它通过测量预测序列和标签序列之间的n元语法的匹配度来评估预测。