多分类模型的评价指标

注：该学习笔记总结自下面的文章，作者写得非常好，请需要更多学习的读者移步下面的链接多分类模型Accuracy, Precision, Recall和F1-score的超级无敌深入探讨 - 知乎 (zhihu.com)https://zhuanlan.zhihu.com/p/147663370

二分类模型

混淆矩阵(Confusion Matrix)：表示模型预测结果与真实结果的对比情况。

二分类模型中，Accuracy，Precision，Recall和F1 score的定义如下：

Precision着重评估在预测为Positive的所有数据中，真实Positve的数据到底占多少？

Recall着重评估：在所有的Positive数据中，到底有多少数据被成功预测为Positive?

多分类模型

在混淆矩阵中，正确的分类样本（Actual label = Predicted label）分布在左上到右下的对角线上。其中，Accuracy的定义为分类正确（对角线上）的样本数与总样本数的比值。

Accuracy度量的是全局样本预测情况。

Precision和Recall而言，每个类都需要单独计算其Precision和Recall。

若想评估该识别系统的总体功能，必须考虑三个类别的综合预测性能，

对于Precision和Recall而言，通常来说有如下几种解决方案（也可参考scikit-learn官网）：

1. Macro-average宏平均

该方法最简单，直接将不同类别的评估指标（Precision/ Recall/ F1-score）加起来求平均，给所有类别相同的权重。该方法能够平等看待每个类别，但是它的值会受稀有类别影响。

2. Weighted-average方法

该方法给不同类别不同权重（权重根据该类别的真实分布比例确定），每个类别乘权重后再进行相加。该方法考虑了类别不平衡情况，它的值更容易受到常见类（majority class）的影响。

3. Micro-average微平均

该方法把多分类问题分解成多个2分类问题：把每个类别的TP, FP, FN先相加之后，在根据二分类的公式进行计算。

可以得到的是：Micro-precision和Micro-recall的数值都等于Accuracy，因为它们计算了对角线样本数和总样本数的比值，总结就是：