NLP学习笔记15-生成句子

一  序

  本文属于NLP学习笔记系列。

二 生成模型

当一个模型训练好后，我们可以利用这个模型来生成一些数据，就是生成模型。例如：生成句子，音乐，图像，程序等。
当然还有判别模型。

语言模型属于生成模型，所以可以生成句子。

下面的例子，假如有个词库，然后每一个词对应的概率已经训练好了，然后用Unigram来生成一个句子：

由于Unigram是不考虑上下文的，所以这个句子完全就随机根据单词的概率取的下一个词。这种不一定符合人的逻辑。

下面看Bigram如何生成一句话。
先根据词库写出每个词后面接另外一个词的概率矩阵，大小是7*7，包含了6个单词和一个终止符(yesterday之后就认为终止)

如果第一个单词采样到I，那么可以从矩阵上可以看到，I后面跟like的几率最大。这样以此类推，直到采样到句号为止。

取决于Bigram 的质量，如果Bigram的模型训练得很好，通过采样得到的语句是比较通顺的。

接下来的课程，老师要讲机器学习相关的。