一、区分精确率、召回率和特异性、敏感性
在数据科学中,查看精确率和召回率来评估构建的模型是十分常见的。而在医学领域,通常使用特异性和敏感性来评估医学测试。这一点在兆观的论文、以及 xxx院的沟通过程中,也注意到这一点了~
这些指标有很大的相似之处,但也有些许区别,所以关键在于:不同的领域有不同的评价指标,在给出结果的时候,要考虑对方想要看的指标是什么?或者说,在对方的领域内,权威公认的测试指标是什么?
二、各个指标的定义
先给出一个混淆矩阵~
0. 准确率(Accuracy)
物理意义:在所有预测的样本中,有多少预测正确?
1. 精确率(Precision, 评价查准)
物理意义:在所有预测的正样本中,有多少的真的正样本?
2. 召回率(Recall, 评价查全)
物理意义:在所有的真实正样本中,有多少被预测成正样本?
3. 特异性(Specificity, 评价误诊)
物理意义:在所有的真实负样本中,有多少被预测成负样本?
4. 敏感性(Sensitivity, 评价漏诊)
物理意义:在所有的真实正样本中,有多少被预测成正样本?
可以看出,敏感性和召回率是一样的。
心得:工作中的睡眠呼吸异常检测只关注了精确率和召回率,而没有关注特异性和敏感性。换言之,忽略特异性的同时,没有太去关注对负样本的检测结果,因为精确率和召回率只关注对正样本的检测结果,而可能存在高精确率、高召回率但同时有低特异性的分类器,如下图:
(但可能影响有没那么大,因为我们实际应用的场景,负样本的个数远超正样本的个数,和这个分类器又不完全一样)
5. F1-score
物理意义:Precision 和 Recall 的调和平均数
(参考:模型评价(AUC,ROC曲线,ACC, 敏感性, 特异性,精确度,召回率,PPV, NPV, F1))
6. ROC曲线
ROC(Receiver Operation Characteristic) 又叫接受者操作特征曲线,物理意义:在特定的刺激条件下,以被试在不同判断标准下所得的虚报概率为横坐标,以击中概率为纵坐标,画得的各点的连线。
ROC曲线的横坐标为假正例率FPR,纵坐标为真正例率TPR。曲线距离左上角越近,表明分类器效果越好。
7. AUC
AUC(Area under roc curve),物理意义:ROC曲线下的面积。AUC越大,分类器分类效果越好。
(参考:机器学习评价指标合辑(TP/FP/FN/TN/Precision/Recall/F1score/P-R曲线/ROC曲线/AUC))
(参考:ROC曲线与AUC值)