模型评估：精确率召回率准确率

样本

假设样本实际标签分为相关和不相关
对样本进行预测，预测为相关的样本召回，其余的不召回

A: 相关，且召回（预测为1）后也认为相关
B: 不相关，但召回（预测为1）后认为相关
C: 相关，但召回（预测为1）后也认为相关
D: 不相关，且召回（预测为1）后也认为不相关

我们假设Y为预测值，X为真实值

精确率、召回率、准确率计算

• 召回率 Recall = P（Y=1 | X=1）= A / A+C
  相关样本（也即正样本，实际为1的样本）中召回样本数（预测为1的样本）
• 精确率 Precision = P（X=1 | Y=1）= A / A+B
  召回样本（预测为1的样本）中相关样本数（实际为1的样本）
• 准确率 Accuracy = A+D / A+B+C+D
  全部样本中预测正确的样本数（TP：11，TN：00）

实际应用：

1. 如果是做搜索，关注全，则优先召回率，提升准确率；
2. 如果是做诊断，关注准确，则优先精确率，提升召回率

精准率和召回率的关系，F1 分数

精准率和召回率的分子是相同，但分母不同。
两者的关系可以用一个 P-R 图来展示：

灵敏度、特异度、真正率和假正率

• 灵敏度（Sensitivity） = P（Y=1 | X=1）= A/(A+C) = 召回率
• 特异度（Specificity） = P（Y=0 | X=0）= D/(B+D) = 真反率
• 真正率（TPR） = P（Y=1 | X=1）= A/(A+C) = 灵敏度 = 召回率 也就是
• 假正率（FPR） = P（Y=1 | X=0）= 1- 特异度 = B/(B+D)
  

ROC曲线、AUC曲线

• Receiver Characteristic Operator ROC 曲线：

其中横坐标为假正率（FPR），纵坐标为真正率（TPR）。
TPR越高，同时FPR越低（即ROC曲线越陡），那么模型的性能就越好。
ROC曲线无视样本不平衡。

• Area Under the Curve AUC 曲线：

等于ROC曲线下面积。
可看做某个随机正类别样本排列在某个随机负类别样本之上的概率。

多分类问题

多分类问题可以将正样本为1，负样本为0。
如 类A、B、C 正样本为A，负样本为B、C，则

• 1 的数量为 num(A)
• 0 的数量为 num(B + C)
  。。。。。。。。。待续

---

参考文章：

1. 一文看懂分类模型的评估指标：准确率、精准率、召回率、F1、ROC曲线、AUC曲线
2. 机器学习面试题集-图解准确率，精确率，召回率
3. 准确率(Accuracy)、精确率(Precision)和召回率(Recall)的区别
4. 召回率、准确率、精准率详解
5. 机器学习中的AUC-ROC曲线