声明
本文无个人理解，只是对比国内和国外资料后对国内博客中困惑度的一个补充。如果你无法访问参考文献2，这里提供一个下载链接。
链接：https://pan.baidu.com/s/1lllc-cMBGLdbKaGgnBdX3A&shfl=sharepset
提取码：ekzm
语言模型VS语言模型
训练好一个语言模型后，怎样评估语言模型的好坏呢？可以使用困惑度(perplexity)！困惑度越小，则语言模型越优。
困惑度的定义
形式一：
P
P
(
W
)
=
P
(
w
1
w
2
.
.
.
w
N
)
−
1
N
PP(W ) = P(w_1w_2...w_N )^{-\frac{1}{N}}
PP(W)=P(w1w2...wN)−N1
上面的式子中
W
W
W为一句话，
w
1
w
2
.
.
.
w
N
w_1w_2...w_N
w1w2...wN为构成这句话的词，为求解上面的式子，可以将上面的联合概率展开，并使用不同的假设，比如Unigram，bigram等。
形式二：
2
−
∑
i
=
1
N
1
N
log
2
q
(
x
i
)
2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}
2−∑i=1NN1log2q(xi)
上式中q分布为形式一中展开联合分布后每一项的分布表示。可以对比参考文献1和参考文献3中的内容体会。
827
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
