二元分类器的性能计算公式
混淆矩阵
混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用n行n列的矩阵形式来表示。在人工智能中,混淆矩阵(confusion matrix)是可视化工具,特别用于监督学习,在无监督学习一般叫做匹配矩阵。下表是一个常用的二元分类器的混淆矩阵。
混淆矩阵 | 预测标签 | ||
负类0 | 正类1 | ||
真实标签 | 负类0 | TN | FP |
正类1 | FN | TP |
表中, T N TN TN表示预测值和实际值均为 0 0 0类的样本数; F P FP FP表示预测值为 1 1 1类,但实际值为 0 0 0类的样本数; F N FN FN表示预测值为 0 0 0类,但实际值为 1 1 1类的样本数; T P TP TP表所示预测值和实际值均为 1 1 1类的样本数。总样本数 T = T N + F P + F N + T P T=TN+FP+FN+TP T=TN+FP+FN+TP。
1.准确率 A c c u r a c y Accuracy Accuracy
A c c u r a c y = T N + T P T N + F P + F N + T P Accuracy = \frac{{TN + TP}}{{TN{\rm{ + }}FP + FN + TP}} Accuracy=TN+FP+FN+TPTN+TP表示所有正确分类的样本数与总样本数的比值。
2.精确率 P r e c i s i o n Precision Precision
P r e c i s i o n = T P T P + F P Precision = \frac{TP}{TP+FP} Precision=TP+FPTP预测标签为正类1的样本中,预测正确的比值。
3.灵敏度 S e n s i t i v i t y Sensitivity Sensitivity=召回率 R e c a l l Recall Recall=真阳率 T P R TPR TPR
S e n s i t i v i t y = R e c a l l = T P R = T P T P + F N Sensitivity = Recall=TPR=\frac{TP}{TP+FN} Sensitivity=Recall=TPR=TP+FNTP真实标签为正类1的样本中,预测正确的比例。
4.特异度 S p e c i f i c i t y Specificity Specificity
S p e c i f i c i t y = T N T N + F P Specificity=\frac{TN}{TN+FP} Specificity=TN+FPTN真实标签为负类0的样本中,预测正确的比例。
5.假阳率 F P R FPR FPR
F P R = F P T N + F P FPR=\frac{FP}{TN+FP} FPR=TN+FPFP真实标签为负类0的样本中,预测错误的比例。
6.马修斯相关系数 M C C MCC MCC
全称:Matthews correlation coefficient
M
C
C
=
T
P
×
T
N
−
F
P
×
F
N
(
T
P
+
F
P
)
(
T
P
+
F
N
)
(
T
N
+
F
P
)
(
T
N
+
F
N
)
MCC=\frac{TP\times TN-FP\times FN}{\sqrt {(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}
MCC=(TP+FP)(TP+FN)(TN+FP)(TN+FN)TP×TN−FP×FN该指标考虑了真阳性、真阴性和假阳性和假阴性,通常认为该指标是一个比较均衡的指标,即使是在两类别的样本含量差别很大时,也可以应用它。MCC本质上是一个描述实际分类与预测分类之间的相关系数,它的取值范围为[-1,1],取值为1时表示对受试对象的完美预测,取值为0时表示预测的结果还不如随机预测的结果,-1是指预测分类和实际分类完全不一致。
7.F1分数(H-mean值)
2 F 1 = 1 P r e c i s i o n + 1 R e c a l l \frac{2}{F_1}=\frac{1}{Precision}+\frac{1}{Recall} F12=Precision1+Recall1转化为: F 1 = 2 × P r e c i s i o n × R e c a l l P r e c i s i o n + R e c a l l + 2 × T P 2 T P + F P + F N F_1=\frac{2\times Precision \times Recall}{Precision+Recall}+\frac{2\times TP}{2TP+FP+FN} F1=Precision+Recall2×Precision×Recall+2TP+FP+FN2×TP F 1 F_1 F1为 P r e c i s i o n Precision Precision和 R e c a l l Recall Recall的调和平均值。越大越好。
8.ROC曲线
ROC的全称是“受试者工作特征”(Receiver Operating Characteristic)曲线,一般以假阳率为横坐标,真阳率为纵坐标,随着阈值的不断变化绘制的一条曲线。如下图:
图中,阴影部分面积的为AUC值>0.5。该值越大,说明分类效果越好;