困惑度 perplexity

在自然语言处理中，困惑度是用来衡量语言模型优劣的一个方法。它的值是对交叉熵损失函数做指数运算后得到的结果。

交叉熵损失函数

单个训练样本的损失：

$loss=-\frac{1}{n}{\sum }_{i=1}^n{y}_{i}log\widehat{y_i}=-log\widehat{y_j}$

$n$是标签数量，在语言模型中指的是字符总数。$\widehat{y_i}$是预测概率，$y_i$是预测正确概率。假如标签数为3，每个样本只有一个标签，正确预测结果为类别1，则$y_1=1$，$y_2=0$，$y_3=0$，代入公式得到 $loss=-log\widehat{y_1}$。可以看到交叉熵损失函数只关心预测正确的概率。

困惑度

$perplexity=e^{loss}=\frac{1}{\widehat{y_i}}$

• 最佳情况下，模型总是把标签类别的概率预测为1，此时困惑度为1；
• 最坏情况下，模型总是把标签类别的概率预测为0，此时困惑度为正无穷；
• 基线情况下，模型总是预测所有类别的概率都相同。$\widehat{y_i}=\frac{1}{n}$，$perplexity=n$。此时困惑度为类别个数。

显然，任何一个有效模型的困惑度必须小于类别个数。在语言模型中，困惑度必须小于词典大小vocab_size。