09[NLP训练营]基于语言模型生成句子

公式输入请参考： 在线Latex公式

生成模型

当一个模型训练好后，我们可以利用这个模型来生成一些数据，就是生成模型。例如：生成句子，音乐，图像，程序等。
当然还有判别模型。

例子

假如上图是我们的词库，然后每一个词对应的概率已经训练好了，然后用Unigram来生成一个句子：

由于Unigram是不考虑上下文的，所以这个句子完全就随机根据单词的概率取的下一个词。
下面看Bigram如何生成一句话。
先根据词库写出每个词后面接另外一个词的概率矩阵，大小是7*7，包含了6个单词和一个终止符

如果第一个单词采样到I，那么可以从矩阵上可以看到，I后面跟like的几率最大。这样以此类推，直到采样到句号为止。
如果Bigram的模型训练得很好，通过采样得到的语句是比较通顺的。