声明
本文无个人理解,只是对比国内和国外资料后对国内博客中困惑度的一个补充。如果你无法访问参考文献2,这里提供一个下载链接。
链接:https://pan.baidu.com/s/1lllc-cMBGLdbKaGgnBdX3A&shfl=sharepset
提取码:ekzm
语言模型VS语言模型
训练好一个语言模型后,怎样评估语言模型的好坏呢?可以使用困惑度(perplexity)!困惑度越小,则语言模型越优。
困惑度的定义
形式一:
P
P
(
W
)
=
P
(
w
1
w
2
.
.
.
w
N
)
−
1
N
PP(W ) = P(w_1w_2...w_N )^{-\frac{1}{N}}
PP(W)=P(w1w2...wN)−N1
上面的式子中
W
W
W为一句话,
w
1
w
2
.
.
.
w
N
w_1w_2...w_N
w1w2...wN为构成这句话的词,为求解上面的式子,可以将上面的联合概率展开,并使用不同的假设,比如Unigram,bigram等。
形式二:
2
−
∑
i
=
1
N
1
N
log
2
q
(
x
i
)
2^{-\sum_{i=1}^N \frac{1}{N} \log_2 q(x_i)}
2−∑i=1NN1log2q(xi)
上式中q分布为形式一中展开联合分布后每一项的分布表示。可以对比参考文献1和参考文献3中的内容体会。