模型评估方法：混淆矩阵、查准率&查全率&P-R图

这篇文章大部分转载自：分类器评估方法：准确率和混淆矩阵

注：本文大部分是人工智能研究网的学习笔记

各评估方法的计算步骤：

• 先根据分类结果，统计出混淆矩阵。
  • 根据混淆矩阵，计算出查准率（P）与查全率（R），画出P-R曲线。
  • 根据混淆矩阵，计算出真正率（TPR）与假正率（FPR），画出ROC曲线。

1 混淆矩阵

快速理解：包含主对角线（真正、真反），剩余（假正，假反）。

在机器学习中尤其是统计分类中，混淆矩阵（confusion matrix），也被称为错误矩阵（error matrix）。

矩阵的每一列表达了分类器对于样本的类别预测，二矩阵的每一行则表达了版本所属的真实类别

之所以叫做’混淆矩阵‘，是因为能够很容易的看到机器学习有没有将样本的类别给混淆了。

Table of confusion

在预测分析中（predictive analytics）中table of confusion有时也叫（confusion matrix）是一个两行两列的表，这个表报告了四个预测相关的事件发生的数量： false positive， False negative, true positve和false negative。这个表可以让我们更加详细的分析预测系统的性能，热不是仅仅用一个准确率。

Accuracy是一个不可靠的分类器性能度量标准，因为当数据集中不同类的别的样本数量分布不平衡的时候，它将会产生误导人的结果。

比如说，如果数据集中有95个猫和5个狗，分类器会简单的将其分为猫，这样的准确率是95%。

混淆矩阵的记忆方法：
正对角线上的是分类正确的，所以是真正，真反。
其他的是分类错误的，所以是假正，假反。

最终的table of confusion是把所有的table of confusion平均组合起来的结果。

2 查准率&查全率

快速理解：记忆关键在分母，可以先记分母（以为的正例，真正的正例）
查准率（又叫准确率）：我们以为的正例中，真正的正例占多少。
$$P=\frac{真正}{真正+假正}$$
查全率（又叫召回率）：所有的正例中，我们找出的正例占多少。
$$R=\frac{真正}{真正+假反}$$

accuracy_score：函数计算分类准确率，返回被正确分类的样本比例（default）或者是数量（normalize=False）

在多标签分类问题中，该函数返回子集的准确率，对于一个给定的多标签样本，如果预测得到的标签集合与该样本真正的标签集合严格吻合，则subset accuracy =1.0否则是0.0。

得到查准率P，查全率R后，画出P-R图（P为纵轴，R为横轴）：

图有了，怎么看呢？包住，平衡点，

1. 若模型A的P-R曲线，包住模型B的P-R曲线，就说A的性能优于B。（因为查准率、查全率高鸭）
   缺点：两个曲线有交叉时，就难以比较了。

2.根据1 的缺点，改用平衡点（Break-Even Point ，简称BEP） ，即查准率等于查全率的点。
平衡点高的模型，认为其性能好。

缺点：BEP过于简化
3.根据2的缺点，改用F1度量：F1度量是基于P、R的调和平均
$$\frac{1}{F_1}=\frac{1}{2}(\frac{1}{P}+\frac{1}{R})$$
化简后：$$F_1=\frac{2\ast P\ast R}{P+R}$$

一些应用中对查准率和查全率的重视程度不同，因此使用F₁度量的一般形式F_β度量。

F_β是加权调和平均：
$$\frac{1}{F_{\beta }}=\frac{1}{1+{\beta }^2}(\frac{1}{P}+\frac{{\beta }^2}{R})$$
其中β>0，度量了P、R的相对重要性。β=1时，退化为F1度量。β>1时，查全率更重要，β<1时查准率更重要。

简化后为：
$$F_{\beta }=\frac{(1+{\beta }^2)\ast P\ast R}{{\beta }^2\ast P+R}$$