语言模型就是用于评估文本符合语言使用习惯程度的模型。
一、定义
我们目前所说的语言模型主要指的是统计语言模型。
统计语言模型是一个单词序列上的概率分布，对于一个给定长度为m的序列，它可以为整个序列产生一个概率 P(w1,w2,…,wm)。其实就是想办法找到一个概率分布，它可以表示任意一个句子或序列出现的概率。
二、统计语言模型
对于一个由T个词按顺序构成的句子
s
=
w
1
w
2
w
3
.
.
.
w
t
s=w_1w_2w_3...w_t
s=w1w2w3...wt，p(s)实际上求解的是字符串
w
1
w
2
w
3
.
.
.
w
t
w_1w_2w_3...w_t
w1w2w3...wt的联合概率，利用贝叶斯公式，链式分解如下：
P
(
s
)
=
P
(
w
1
w
2
w
3
.
.
.
w
t
)
=
P
(
w
1
)
P
(
w
2
∣
w
1
)
P
(
w
3
∣
w
1
w
2
)
P
(
w
T
∣
w
1
.
.
.
w
T
−
1
)
P(s)=P(w_1w_2w_3...w_t) =P(w_1)P(w_2|w_1)P(w_3|w_1w_2)P(w_T|w_1...w_{T-1})
P(s)=P(w1w2w3...wt)=P(w1)P(w2∣w1)P(w3∣w1w2)P(wT∣w1...wT−1)
从上面可以看到，一个统计语言模型可以表示成，给定前面的的词，求后面一个词出现的条件概率。我们在求p(s)时实际上就已经建立了一个模型，这里的p(*)就是模型的参数，如果这些参数已经求解得到，那么很容易就能够得到字符串s的概率。
由于上式中的参数过多，因此需要近似的计算方法。常见的方法有n-gram模型方法、决策树方法、最大熵模型方法、最大熵马尔科夫模型方法、条件随机域方法等。
1.最常见语言模型：n-gram语言模型
n-gram语言模型是统计语言模型中最常用的语言模型。
三、神经网络语言模型(又叫神经概率语言模型)
1.别称
神经网络语言模型和神经概率语言模型是一个意思，简称NNLM。
2.模型的基本结构
神经概率语言模型最经典的还是bengio在2001年发表的论文《A Neural Probabilistic Language Model》
扫一扫
5348
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
