NLP常见评价指标

困惑度（Perplexity）

困惑度 是语言模型的一个衡量标准。因为单纯序列的似然概率是一个难以理解、难以比较的数字。 毕竟，较短的序列比较长的序列更有可能出现， 因此评估模型产生长篇巨著《战争与和平》的可能性会比产生中篇小说《小王子》可能性要小得多。

一个好的语言模型应该能让我们准确地预测下一个词元。 所以我们可以通过一个序列中 所有的 n 个词元的交叉熵损失的平均值 来衡量：

$$\frac{1}{n}-\sum _{t=1}^n\text{log }P(x_t|x_1,\cdots ,x_{t-1})$$

其中 $P$ 由语言模型给出， $x_t$ 是在时间步 $t$ 从该序列中观察到的实际词元。 这使得不同长度的文档的性能具有了可比性。 由于历史原因，自然语言处理的科学家更喜欢使用一个叫做困惑度（perplexity）的量。 简而言之，它是上式的指数：

$$\text{exp}(\frac{1}{n}-\sum _{t=1}^n\text{log }P(x_t|x_1,\cdots ,x_{t-1}))$$

如果是使用神经网络来编码语言模型，那么神经网络的输出loss的均值的指数值，即为一个句子的困惑度。

• 在最好的情况下，模型总是完美地估计标签词元的概率为1。 在这种情况下，模型的困惑度为1。
• 在最坏的情况下，模型总是预测标签词元的概率为0。 在这种情况下，困惑度是正无穷大。

---

BLEU

BLEU（bilingual evaluation understudy） 最早提出时是用于评估机器翻译的结果， 但现在它已经被广泛用于测量许多应用的输出序列的质量。 BLEU的定义为：

$$\text{exp}(min(0,1-\frac{le{n}_{label}}{le{n}_{pred}}))\prod _{n=1}^k{p}_n^{1/2^n}$$

其中 $le{n}_{label}$ 表示标签序列中的词元数， $le{n}_{pred}$ 表示预测序列中的词元数，$k$ 是用于匹配的最长的 n-gram 。

另外，$p_n$ 表示 n-gram 的精确度，它是两个数量的比值： 第一个是预测序列中与标签序列匹配的 n-gram 的数量（注：只要预测序列中的 n-gram 在标签序列的 n-gram 中也存在即认为是匹配；如果预测序列中的某个 n-gram 出现了 i 次，而该 n-gram 在标签序列中出现了 j 次，那么算 min(i,j) 次匹配）， 第二个是预测序列中 n-gram 的数量。

举例来说，给定标签序列 A ， B 、 C 、 D 、 E 、 F 和预测序列 A 、 B 、 B 、 C 、 D ， 则 $p_1=\frac{4}{5}，p_2=\frac{3}{4}，p_1=\frac{1}{3}，p_1=\frac{0}{2}$。
\quad
以 $p_2$ 为例具体说明：预测序列中的 2-gram 为： AB, BB, BC, CD，标签序列中的 2-gram 为：AB, BC, CD, DE, EF。因此预测序列中与标签序列匹配的 2-gram 有：AB, BC, CD $\Rightarrow$ $p_2$ 分母为4，分子为3.

根据上述BLEU的定义:

• 当预测序列与标签序列完全相同时，BLEU为 1
• 由于 n-gram 越长则匹配难度越大， 所以BLEU为更长的 n 元语法的精确度分配更大的权重。(n 越大，$p_n^{1/2^n}$ 越大)
• 由于预测的序列越短获得的 pn 值越高， 所以 $\text{exp}(min(0,1-\frac{le{n}_{label}}{le{n}_{pred}}))$ 用于惩罚较短的预测序列。当 $\frac{le{n}_{label}}{le{n}_{pred}}>1$ 时，预测序列越短，惩罚系数 $\text{exp}(min(0,1-\frac{le{n}_{label}}{le{n}_{pred}}))$ 越小，也就是说惩罚力度越大

---

精确率和召回率

对于分类模型，假如有 $C$ 个类别，那么对于任意类别 $c$，有：

• 真正例(TP)：样本真实类别为 $c$，并且模型也预测为$c$ 的数量：
  $$T{P}_c=\sum _{i=1}^n\mathbf{I}(y_i=\widehat{y_i}=c)$$
• 假负例(FN)：样本真实类别为 $c$，但是模型将它预测为其他类别的数量：
  $$F{N}_c=\sum _{i=1}^n\mathbf{I}(y_i=c\cap \widehat{y_i}\ne c)$$
• 假正例(FP)：样本真实类别为其他类别，但是模型将它预测为 $c$ 的数量：
  $$F{P}_c=\sum _{i=1}^n\mathbf{I}(y_i\ne c\cap \widehat{y_i}=c)$$
• 真负例(TN)：样本真实类别为其他类别，并且模型也将它预测为其他类别的数量，对类别 $c$ 来说，这种情况一般不需要关注。

精确率，也叫查准率，类别 $c$ 的查准率是所有预测为类别 $c$ 的样本中预测正确的比例:
$${\mathcal{P}}_c=\frac{T{P}_c}{T{P}_c+F{P}_c}$$

召回率，也叫查全率，类别 $c$ 的查全率是所有真实标签为类别 $c$ 的样本中预测正确的比例:
$${\mathcal{R}}_c=\frac{T{P}_c}{T{P}_c+F{N}_c}$$

F1 score，是一个综合指标，为精确率和召回率的调和平均：
$${\mathcal{F}}_c=\frac{2\ast {\mathcal{P}}_c{\mathcal{R}}_c}{{\mathcal{P}}_c+{\mathcal{R}}_c}$$

计算分类算法在所有类别上的总体精确率，召回率和F1 score：
$$\begin{array}{rl}\mathcal{P}& =\frac{1}{C}\sum _{c=1}^C{\mathcal{P}}_c\\ \mathcal{R}& =\frac{1}{C}\sum _{c=1}^C{\mathcal{R}}_c\\ \mathcal{F}& =\frac{2\ast \mathcal{P}\mathcal{R}}{\mathcal{P}+\mathcal{R}}\end{array}$$

---

Reference:

1. 动手学深度学习