混淆矩阵、ROC与auc

模型A示例：

 1. 正例：在模型 A 的场景中，猫是正例。
 2. 负例：在模型 A 的场景中，其他是负例。
 3. TP（真阳性）：真实的类别是猫，同时模型也预测为猫，有 60 张。
 4. FP（假阳性）：真实的类别是其他，但模型预测为猫，有 20 张。
 5. TN（真阴性）：真实的类别是其他，同时模型也预测为其他，有 10 张。
 6. FN（假阴性）：真实的类别是猫，但模型预测为其他，有 10 张。

1. 正确率： 被正确分类的样本比例，衡量预测值与真值相符合的程度
 Accuracy = (TP + TN ) / (TP + FP + FN + TN)
 Accuracy_A = (60 + 10)/ (60 + 20 + 10 + 10) = 0.7
 
2. 错误率：被错误分类的样本比例
 Error = (FP+FN) / (TP + FP + FN + TN)
 Error_A = (20 + 10) / (60 + 20 + 10 + 10) = 0.3
 
3. 召回率(真阳率 True Positive Rate)：模型预测为正例的样本占实际正例样本数量的比例，
衡量模型能在验证集中找回多少正例
 TPR = TP / (TP + FN)
 recall_model_A = 60 / 70 = 0.85

4. 假阳率（False Positive Rate）：预测为正例的样本占实际负例样本数量的比例
FPR = FP / (FP + TN) 
FPR_A = 20 / (20 + 10) = 0.667

5. 精确率：模型认为一条数据是正例，那么有多大的概率确实是正例
 precision（TPR） = TP / (TP + FP)
 precision_A = 60 / 80 = 0.75

6. 特异性（Specificity）：实际是负例，分类器预测结果的类别也是负例的比例。
 specificity（TNR） = TN / (TN + FP)
 specificity_A = 10 / (10 + 20) = 0.333

7. F1-Score = 2 * Precision * Recall / (Precision + Recall)
 F1 = 2 * 0.75 / (0.75 + 0.85) = 0.9375

8. Roc曲线：即接收者操作特征曲线(receiver operating characteristic curve)，
   8.1 反映了真阳性率（TPR为Y轴）和假阳性率（1-特异度，FPR为X轴）之间的变化关系。
   8.2 Roc曲线越趋近于左上角，预测结果越准确。

9. auc : Roc曲线与坐标轴之间的面积；
   9.1 反应分类器对样本的排序能力；
   9.2 物理意义上，反映的是正样本的预测结果大于负样本的预测结果的概率。

参考：
阿里云开发社区-混淆矩阵
拉钩教育- 深入学习入门与实践