分类模型评价指标及其含义

参考连接：

https://blog.csdn.net/weixin_45459911/article/details/105206954

https://blog.csdn.net/weixin_39631767/article/details/111615236?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-0.essearch_pc_relevant&spm=1001.2101.3001.4242

---

1.混淆矩阵

对于二分类问题，预测结果和真实结果两两结合会出现如下四种情况：

TP、FP、FN、TN可以理解为

• TP：预测为positive，实际为Ture，预测正确。

• FP：预测为positive，实际为False，预测错误。

• FN：预测为negative，实际为Ture，预测错误。

• TN：预测为nagative，实际为False，预测正确。

2.准确率

准确率(Accuracy)预测正确的结果占总样本的百分比：

虽然准确率能够判断总的正确率，但是在样本不均衡的情况下，并不能作为很好的指标来衡量结果。比如在样本集中，正样本有90个，负样本有10个，样本是严重的不均衡。对于这种情况，我们只需要将全部样本预测为正样本，就能得到90%的准确率，但是完全没有意义。

3.精确率

精确率(Precision)是针对预测结果而言的，其含义是在被所有预测为正的样本中实际为正样本的概率，表达式为

4.召回率

召回率(Recall)是针对原样本而言的，其含义是在实际为正的样本中被预测为正样本的概率，表达式为

 5.F1分数

F1分数是一个常用指标，F1值是精确率和召回率的调和均值，即

 F值也可泛化为对精确率和召回率赋不同权值进行加权调和，通过调节alpha来改变F值，
alpha == 1时即上式中F1。

  6.P-R曲线

 PR曲线就是以准确率P为纵轴，以召回率R为横轴的曲线。

 从上图不难发现，对precision与Recall，曲线越靠近右上角性能越好，曲线下的面积叫 AP 分数，能在一定程度上反应模型的精确率和召回率都很高的比例。但这个值不方便计算，综合考虑precision与Recall一般使用 F1 函数或者 AUC 值。

7.ROC曲线

 引入原因：
在众多的机器学习模型中，很多模型输出的是预测概率，而使用精确率、召回率这类指标进行模型评估时，还需要对预测概率设分类阈值，比如预测概率大于阈值为正例，反之为负例。这使得模型多了一个超参数，并且这超参数会影响模型的泛化能力。而ROC曲线不需要设定阈值，所以不会此影响。

 ROC（接受者操作特征Receiver Operating Characteristic)曲线纵坐标是真正率，横坐标是假正率，其对应的计算公式如下：

不难看出
真正率TPR = 召回率Recall = 灵敏度sensitivity（另一种表示），即真样本中被判断为真的概率。
假正率FPR = 1 - 特异度specificity（另一种表示），即假样本中被误判为真的概率。TPR和FPR分别是基于实际的正样本和负样本中来观察相关概率问题。因此，无论样本是否均衡，都不会被影响。

 ROC曲线如下图所示：

ROC曲线纵坐标是真正率，横坐标是假正率。所以越靠近左上角性能越好。左上角坐标为(0, 1)，即FPR=0，TPR=1，根据FPR和TPR公可以得知，此时FN=0， FP=0，模型对所有样本分类正确。

ROC曲线是通过遍历所有阈值来绘制曲线的。如果我们不断的遍历所有阈值，预测的正样本和负样本是在不断变化的，相应的ROC曲线TPR和FPR也会沿着曲线滑动。

同时，我们也会思考，如何判断ROC曲线的好坏呢？我们来看，FPR表示模型虚报的程度，TPR表示模型预测覆盖的程度。理所当然的，我们希望虚报的越少越好，覆盖的越多越好。所以TPR越高，同时FPR越低，也就是ROC曲线越陡，那么模型的性能也就越好。 

最后，我们来看一下，不论样本比例如何改变，ROC曲线都没有影响，也就是ROC曲线无视样本间的不平衡问题。

ROC曲线优势：

ROC曲线能很容易的查出任意阈值对学习器的泛化性能影响，有助于选择最佳的阈值。ROC曲线越靠近左上角，模型的查全率就越高。最靠近左上角的ROC曲线上的点是分类错误最少的最好阈值，其假正例和假反例总数最少。可以对不同的学习器比较性能。将各个学习器的ROC曲线绘制到同一坐标中，直观地鉴别优劣，靠近左上角的ROC曲所代表的学习器准确性最高。

 

 7.AUC值

 AUC（Area under curve）顾名思义就是ROC曲线下的面积，衡量学习器优劣的一种性能指标。 从定义可知，AUC可通过对ROC曲线下各部分的面积求和而得。AUC计算公式：

疑问：AUC是指随机给定一个正样本和一个负样本，分类器输出该正样本为正的那个概率值比分类器输出该负样本为正的那个概率值要大的可能性。？？？