NLP-基础知识-004(生成模型)

使用语言模型生成句子(语言模型-生成模型)

生成新的数据-图片、音乐、文本...


Unigram Model

[NLP,I,Like,studying,course,yesterday] = Vocab

[0.1,0.3,0.2,0.3,0.35,0.05]


不考虑上下文，可能生成下面句子:

    I,study,NLP,course,I,yesterday

    I Like study NLP


Bigram Model

Vocab里面有6个单词，所以生成6*6大小矩阵,矩阵参数通过训练数据得到

          NLP     I      Like  study course   yesterday
NLP       0.001   0.001  0.01  0.1    0.999   0.001
I
like
study
course
yesterday

根据矩阵一行一行进行按照矩阵值概率进行采样，比较大的概率可能采到 I like studying course yesterday.

上述就是利用语言模型生成句子，前提是有大量的语料库