自然语言

自然语言模型

一个句子的概率
$P(s)= p(w_1,w_2,...w_m) =$$p(w_1)p(w_2|w_1) ...p(w_m| w_1,w_2,...w_{m-1})$
n-gram模型又一个假定，就是当前单词出现概率仅仅与前面n-1个单词相关。$p(S)=p(w_1,w_2,...w_m)=\prod_{i=1}^mp(w_{i-n+1},...w_{i-1})$其中n表示当前单词依赖它前面的单词的个数。$p(w_{i-n+1},...w_{i-1})=\frac{C(w_{i-n+1},...w_{i-1},w_i)}{C(w_{i-n+1},...w_{i-1})}$其中C(X)表示单词序列在训练语料库中出现的次数。

评估指标

语言模型常用的评估指标为复杂度perplexity,它刻画的是通过某一语言模型估计的一句话出现的概率。比如当已经知道$(w_1, w_2,...w_m)$这句话出现在语料库中，那么通过语言模型计算出得出这个句子得概率越高越好，也就是perplexity得值越低越好：

$$Perplexity(S)=p(w_1, w_2,...w_m)^\frac{1}{m}=\sqrt[m]{\frac{1}{p(w_1, w_2,...w_m)}}=\sqrt[m]{\prod_{i=1}^m\frac{1}{p(w_i|w_1,w_2,...w_{i-1})}}$$
复杂度表示的是平均分支系数，即预测下一个词时平均可选择数量。
另一种常用的perplexity表达形式
$$log(perplexity(S))=\frac{-\sum{p(w_i|w_1,w_2,...w_{i-1})}}{m}$$

通俗易懂例子

考虑一个由0~9随机组成的长度为m的序列，由于这10个词出现的概率是随机的，所以每个词出现的概率都是1/10，因此在任意时刻，模型都有10个等概率的候选答案可以选择，于是perplexity的计算：

$$Perplexity(S)=\sqrt[m]{\prod_{i=1}^{m}\frac{1}{\frac{1}{10}}}=10$$