NLG过程的优化与项目Inference

NLG：自然语言生成

我们在做完train训练之后，需要对测试数据集进行测试，也就是NLG的过程。

Greed Search（贪婪Search）：

做法：

我们在训练好模型后，seq2seq的Decoder做预测的过程中，

从<start>的标签开始输入， 预测出最大的概率对应的词，作为decoder下一步的输入,

输入后再次预测一个最大概率的词，再将这个词作为下个步骤的输入，

依次循环下去直到，最后输出<end>，代表这句话预测结束。

Greed Search 问题：

这样每次预测最大的概率，只是考虑了局部最优，而对于全局来说不一定是最优的输出，他只考虑了下一个词对应当前词的最大概率，但是对于整个句子来说可能这样每次只考虑一个最大概率并不合适。（每一步生成都是概率最大的，但是对于整个句子不是概率最大的）

Beam Search

decoder每次输出并不是选择概率最大的词，而是选择概率最大的前几名作为输入。超参数就是top-k,用于确定前几名作为输入。

步骤：

假设我们词表有3个词， top-k设置2。

1.那么对于第一次输入<start>,输出会有3个概率分布。

2.我们在这个3个概率分布中选取前2个概率最大的值对应的词。

3.每个词作为下一时刻的输入，每个词有一个3个概率分布。然后在这2*3=6个概率分布中再选取概率前二的词作为下时刻的输入，依次循环下去，直到预测出<end>。

4.最终<end>会有两个概率输出我们选择最大的。

5.那么概率最大的<end>对应的整个链就是整个decoder的输出预测结果。

对于Beam Search并不是每一步预测一个词，而是直到预测出结尾<end>,才确定了每个step预测的词。最终哪个<end>概率最大就选择那个<end>链上所有的词作为输出。