语言模型

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/he_wen_jie/article/details/79963229

音字转换

S da jia hao
T1
T2

为了知道拼音转换成哪一个翻译,我们可以求哪一个概率大

T=max(P(T1),P(T2))

因此需要先求P(T)

句子概率

那么怎么求一个句子的概率呢?假如一个句子S=w1,w2,wll个词组成。

P(S)=p(w1)p(w2|w1)p(w3|w2,w1)p(wl|wl1,wl2,w1)=i=1lp(wi|wi1,wi2,w1)

但是这有一个问题,假如字典中有L个词,我们计算第i个词的概率时,第i个词与前i1个词都有关系,就有Li 种可能,这就太可怕了。

这里写图片描述
假如我们让第i个词只与第i1个词有关系,

P(S)=i=1lp(wi|wi1,wi2,w1)=i=1lp(wi|wi1)

我们让w0=<BOS>即开始符,wl+1=<EOS>即结束符 。这样就只有L种可能,我们计算第i个词的概率就不需要再从头开始计算了,只需要就算前一个词就行了(这里指条件概率
这里写图片描述
掐指一算,这不就是一阶马尔科夫链吗
这里写图片描述

阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页