【机器学习】分类模型的评价方法

🌻个人主页：相洋同学

🥇学习在于行动、总结和坚持，共勉！

---

#学习笔记#

目录

一、混淆矩阵（Confusion Matrix）

二、评估指标（Evaluation metrics）

1.正确率(accuracy)

2.精准率（precision）

3.召回率（recall）

4.调和平均值(F1)

 三、ROC、AUC与P-R曲线

1.ROC曲线

2.AUC

3.P-R曲线

---

一、混淆矩阵（Confusion Matrix）

混淆矩阵可以用来评估分类模型的正确性，该矩阵是一个方阵，矩阵的数值用来表示模型预测结果与真实结果的对比统计。包括真正例(True Positive)、假正例(False Positive)、真负例(True Negative)、假负例(False Negative)。

 通过上图我们不难得出以下几点结论：

1.竖着来看，正正例（TP）+假负例（FN）= 预测为正样本的数量，假正例（FP）+ 真负例（TN）= 预测为负样本的数量；

2.横着来看，真正例（TP）+ 假正例（FP）= 正样本的数量。假负例（FN）+ 真负例（TN）= 负样本的数量。

3.整体来看，真正例（TP）+ 假正例（FP）+ 假负例（FN）+ 真负例（TN） = 所有样本数量

如何确定正样本和负样本？

一般来我们规定样本少的为正样本，或我们更关注的为正样本。例如垃圾邮件检测中的垃圾邮件，癌症筛查中的癌症患者。

二、评估指标（Evaluation metrics）

从混淆矩阵中可以得到更高级的分类指标，不同的指标在不同场景中发挥作用。

1.正确率(accuracy)

正确率的定义：

 简单来说就是所有预测对的占所预测的数量

2.精准率（precision）

精准率的定义如下：

即正确预测为正的数量占所有预测为正的数量，又称查准率。在垃圾邮件或垃圾短信识别中比较看重

3.召回率（recall）

召回率的定义如下：

即正确预测为正的数量占所有为正的数量，又称查全率，可以理解为宁可错杀一百也不放过一个，在癌症排查，或者流行病筛查中比较看重

4.调和平均值(F1)

F1定义为精确率预召回率的调和平均值：

 三、ROC、AUC与P-R曲线

1.ROC曲线

使用图形来描述二分类系统的性能表现。图形的纵轴为正正例率（TPR--True Positive Rate）,横轴为家正例率（FPR--False Positive Rate）。其中，真正例率与加正例率定义为：

 

 ROC曲线通过真正例率（TPR）与假正例率（FPR）两项指标，可以用来评估分类模型的性能。真正例率与假正例率可以通过移动分类模型的阈值进行计算。随着阈值的改变。真正例率与假负例率也会随之发生改变，进而就可以在ROC曲线坐标上形成多个点

随着阈值的降低，TPR与FPR都会增大，重要的是，看谁增长的更快，如果TPR增长的更快，则曲线越想上凸，模型的分类效果越好。

2.AUC

AUC(Area Under the Curve)是指ROC曲线下的面积，在比较多个分类模型效果时，会比ROC曲线更加直观。

3.P-R曲线

模型在不同的阈值下，会对应不同的精准率与召回率，我们以横轴为召回率，纵轴为精准率，将这些点连成线就构成了P-R（Precision-recall）曲线。

P-R曲线上的点体现为不同阈值下，精准率与召回率的对应关系

关于P-R曲线，说明如下

（1）精准率与召回率无法同时增大，一个增大时，另一个可能就会降低

（2）随着召回率的增加，精准率一定会呈现下降的趋势

（3）当对精准率或召回率具有定量要求时，P-R曲线就会非常有用

以上

学习在于行动，总结和坚持，共勉