模型评估标准常用指标

一、分类指标

1. 样本中存在两种两种标签：样本真实标签和模型预测标签。
2. 根据这两个标签可以得到一个混淆矩阵：

• 每一行代表样本的真实类别，数据总数表示该类别的样本总数。
• 每一列代表样本的预测类别，数据总数表示该类别的样本总数。
• 分类模型的评价指标主要基于混淆矩阵。

二、混淆矩阵

三、正确率

1. 用来表示模型预测正确的样本比例。
2. 定义如下：

四、精度和召回率

1. 精度和召回率是比正确率更好的性能评价指标，是对某个类别的评价。

• 精度：（查准率）是指正确预测的正样本占所有预测为正样本的比例：

• 召回率：（查全率）又称灵敏度和命中率，是指正样本中被正确预测的比例：

五、F1值

1. 精度和召回率是负相关的：高精度往往对应召回率
2. F值即是综合考虑精度和召回率的一个指标：

其中为β正数，其作用是调整精度和召回率的权重。β越大，召回率的权重更大；β越小，则精度的权重更大。 当β正数为1时为F1值，精度和召回率权值一样。

六、ROC与AUC

1. ROC曲线和AUC是一个从整体上评价二分类模型优劣的指标，其中AUC是ROC曲线与其横轴之间的面积。AUC值越大说明模型越好。
2. ROC曲线通过真阳率和假阳率两个指标进行绘制：

• 真阳率是真实标签为正样本里预测也为正样本的比例，用TPR表示
• 假阳率是真实标签为负样本里预测为正样本的比例，用FPR表示