精度和召回率

一、为分类任务选择正确的衡量指标

• 不平衡的分类问题：如恐怖分子检测、当疾病在公众中的发病率很低时的疾病监测等
  有这么一个模型：将从美国机场起飞的所有乘客简单地标注为非恐怖分子。已知美国全年平均有 8 亿人次的乘客，并且在 2000-2017 年间共发现了 19 名恐怖分子，这个模型达到了接近完美的准确率——99.9999999%。
  在恐怖分子检测的问题中宣布所有的数据点为负例（非恐怖分子）是毫无裨益的，相反，我们应该聚焦于正例（恐怖分子）的识别。
  直觉告诉我们，我们应该最大化的是统计学上称为召回率或查全率（recall）的衡量指标，或者是最大化模型找到数据集中所有相关案例的能力。
• 精度：P = TP/(TP+FP);
  反映了被分类器判定的正例中真正的正例样本的比重。
• 准确率（Accuracy）
  A = (TP + TN)/(P+N) = (TP + TN)/(TP + FN + FP + TN);
  反映了分类器统对整个样本的判定能力——能将正的判定为正，负的判定为负。
• 召回率(Recall && True Positive Rate)
  Recall=TP/(TP+FN);
  反映了所有真正为正例的样本中被分类器判定出来为正例的比例
• 精度就是找得对，召回率就是找得全。
  精度（查准率）不冤枉一个好人
  召回率（查全率）不放过一个坏人
  大概就是你问问一个模型