机器学习入门教学——精度(Precision)、召回/真阳性率(Recall/TPR)、假阳性率(FPR)

1、精度(Precision)

• 精度是用于评估分类模型的一个重要指标。它反映了模型预测为正例的样本中，实际真正为正例样本的比例。
  • 【注】正例样本指在二分类问题中，被标注为正类的样本。
    • 例如：在垃圾邮件分类任务中，正例样本就是真实的垃圾邮件。
• 精度的计算公式
  • 精度 = 正确预测为正例的样本数 / 总预测为正例的样本数
  • 例如，在二分类问题中，如果有100个样本被模型预测为正例，其中80个样本实际真为正例，20个样本被误判。
  • 那么这个模型的精度为：80 / 100 = 80%。
  • 也就是说，这个模型预测为正例的样本中，有80%实际是正例，20%是误报的负例。
• 精度反映了模型的预测结果中，正类样本所占的比例。它代表了模型的预测准确性和精确度。精度指标越高，说明模型的预测效果越好。
• 通俗解释
  • 假设班上有50个学生，其中10个学生的数学成绩很好。现在老师让所有学生做一份数学测试，结果通过测试的数学好的学生有8个，通过测试的其他学生有5个。
  • 那么此时，精度 = 测试通过的数学好学生数量 / 总共测试通过的学生数量 = 8 / (8 + 5) = 8 / 13 = 61.5%
  • 精度反映了在全部测试通过的学生中，数学好的学生的比例。

2、召回/真阳性率(Recall/TPR)

• 召回是用于评估分类模型效果的一个重要指标。它衡量模型正确识别出正样本的比例。
• 召回率(recall)也称为真阳性率(True Positive Rate)或敏感度(Sensitivity)。
• 召回的计算公式
  • 召回率 = 模型预测出的正例样本数 / 正例样本总数
  • 例如，假设有100个正例样本，模型只预测出了其中的80个为正例。
  • 那么这个模型的召回率为：80 / 100 = 80%
• 召回率反映了分类模型中，所有的正例样本中有多大比例被正确识别出来。它反应了模型检测正例的全面能力。
• 通俗解释
  • 假设班上有50个学生，其中10个学生的数学成绩很好。现在老师让所有学生做一份数学测试，结果有8个数学成绩好的学生通过了测试。
  • 那么此时，召回率 = 测试通过的数学好学生数量 / 全部数学好学生数量 = 8 / 10 = 80%
  • 召回率反映了在全部的“数学好学生”中，有多大比例通过了测试。

3、精度与召回的区别

• 精度计算所有被预测为正例样本中，实际为正例样本的比例，反映了模型的精确度；召回计算所有实际为正例样本中，被正确预测为正例的比例，反映了模型的召回能力。
• 精度倾向于惩罚假正例，召回倾向于惩罚漏报的正例。
• 提高精度的方法是减少假正例，提高召回的方法是减少漏报正例。
• 精度和召回往往存在权衡，精度提高时召回降低，反之亦然。评估模型效果时，需要同时考量精度和召回。
• 在样本不平衡时，由于负例较多，仅考虑精度往往会忽视正例准确率，这时更关注召回。

4、假阳性率(FPR)

• 假阳性率是用于评估分类模型效果的一个重要指标。它表示在所有实际负例中被模型错误预测为正例的比例。
• 假阳性率的计算公式
  • 假阳性率 =  被模型错误预测为正例的样本数 / 反例样本总数
  • 例如，假设有100个反例样本，模型只预测出其中80个为反例，其余20个预测为正例。
  • 那么这个模型的假阳性率为：20 / 80 = 25%
• 假阳性率反映了分类模型在负例样本中误判为正例的程度，高FPR可能意味着模型对于负例的预测并不可靠。
• 通俗解释
  • 假设有1000个人参加了测试，其中只有10人实际上患有这种罕见疾病（正例），而剩下的990人是健康的（反例）。从990名健康人中，有20人被错误地预测为患病了（假正例），而剩下的970人被正确地预测为健康（真反例）。
  • 那么此时，假阳性率 = 被错误预测为患病的人 / 全部健康人 = 20 / 990 ≈ 2.02%
  • 意味着模型错误地将健康的人预测为患病的比例为约2.02%。