NLG:自然语言生成
我们在做完train训练之后,需要对测试数据集进行测试,也就是NLG的过程。
Greed Search(贪婪Search):
做法:
我们在训练好模型后,seq2seq的Decoder做预测的过程中,
从<start>的标签开始输入, 预测出最大的概率对应的词,作为decoder下一步的输入,
输入后再次预测一个最大概率的词,再将这个词作为下个步骤的输入,
依次循环下去直到,最后输出<end>,代表这句话预测结束。
Greed Search 问题:
这样每次预测最大的概率,只是考虑了局部最优,而对于全局来说不一定是最优的输出,他只考虑了下一个词对应当前词的最大概率,但是对于整个句子来说可能这样每次只考虑一个最大概率并不合适。(每一步生成都是概率最大的,但是对于整个句子不是概率最大的)
Beam Search
decoder每次输出并不是选择概率最大的词,而是选择概率最大的前几名作为输入。超参数就是top-k,用于确定前几名作为输入。
步骤:
假设我们词表有3个词, top-k设置2。
1.那么对于第一次输入<start>,输出会有3个概率分布。
2.我们在这个3个概率分布中选取前2个概率最大的值对应的词。
3.每个词作为下一时刻的输入,每个词有一个3个概率分布。然后在这2*3=6个概率分布中再选取概率前二的词作为下时刻的输入,依次循环下去,直到预测出<end>。
4.最终<end>会有两个概率输出我们选择最大的。
5.那么概率最大的<end>对应的整个链就是整个decoder的输出预测结果。
对于Beam Search并不是每一步预测一个词,而是直到预测出结尾<end>,才确定了每个step预测的词。最终哪个<end>概率最大就选择那个<end>链上所有的词作为输出。