NLP中的Perplexity是什么？

Perplexity，翻译为中文的意思为：困惑、混乱。在NLP中，表示语言模型的困惑度，是交叉熵的指数形式，可以作为语言模型的评价指标。Perplexity越低，说明模型拟合效果越好。Perplexity 计算公式如下：
$$\begin{gathered} Perplexity(S)=p(w_1,w_2,w_3,...,w_m{)}^{-1/m} \\ =\sqrt[m]{\prod _{i=2}^m\frac{1}{p(w_i|w_1,w_2,w_3,...,w_{i-1})}} \end{gathered}$$
简单来说，perplexity刻画的是语言模型预测一个语言样本的能力，比如已经知道了$(w_1,w_2,w_3,...,w_m)$这句话会出现在语料库之中，那么通过语言模型计算得到这句话的概率越高，说明语言模型对这个语料库拟合的越好。

在语言模型的训练中，通常采用perplexity的对数表达形式：

$$\text{log}(perplexity(S))=-\frac{1}{m}\sum _{i=2}^{m}p(w_1,w_2,w_3,...,w_m)$$

在数学上，log perplexity 可以看作真实分布与预测分布之间的交叉熵 Cross Entropy, 交叉熵描述了两个概率分布之间的一种距离，假设 $x$ 是一个离散变量，$u(x)$ $v(x)$ 是两个与 $x$ 相关的概率分布，那么 $u,v$ 之间的交叉熵的定义是分布 $u$ 下 $-\text{log}(v(x))$ 的期望值：
$$H(u,v)=E_u[-log(v(x)]=-\sum _{x}u(x)log(v(x))$$

我们把 $x$ 看作是单词，$u(x)$ 表示每个位置上单词的真实分布，
$$u(x|w_1,w_2,w_3,...,w_{i-1})=\{\begin{array}{ll}1& x=w_i\\ 0& x\ne w_i\end{array}$$

$v(x)$是模型的预测分布 $p(w_i|w_1,w_2,w_3,...,w_{i-1})$ ，那么即有
$$\begin{gathered} H(u,v)=-\sum _{x}u(x)log(v(x)) \\ =-\frac{1}{m}\sum _{i=2}^m(\sum _{x}u(x|w_1,w_2,w_3,...,w_{i-1})p(w_i|w_1,w_2,w_3,...,w_{i-1})) \\ =-\frac{1}{m}\sum _{i=2}^m(1\times p(w_i|w_1,w_2,w_3,...,w_{i-1})+\sum _{x\ne w_i}0\times p(w_i|w_1,w_2,w_3,...,w_{i-1})) \\ =-\frac{1}{m}\sum _{i=2}^{m}p(w_i|w_1,w_2,w_3,...,w_{i-1}) \\ =\text{log}(perplexity(S)) \end{gathered}$$

可以看出，$\text{log}(perplexity(S))$和交叉熵是等价的。