机器学习算法的常用评价指标

一、常用评价指标的介绍

1、TP、TN、FP、FN介绍

TP:被正确诊断为患病的病人

TN:被正确诊断为健康的健康人

FP:被错误诊断为患病的健康人

FN:被错误诊断为健康的病人

2、查全率Recall、查准率Precision

查全率Recall是第一行 = TP/(TP+FN)

查准率Precision是第一列 = TP/(TP+FP)

样本总数=TP+FP+TN+FN

为了更好的度量一个模型的好坏，通常需要综合考虑差准率和查全率——F1度量

$F1=\frac{2PR}{P+R}=\frac{2TP}{样本总数+TP-TN}$

二、实例

问题描述

某大学进行目标图像识别系统测试。测试手段是：从学生宿舍区一段监控视频中识别男生的人数。

实验结果如下

算法1（产品1）的检测结果：检测出“男生”人数82人，其中78人为男生，4人其实是女生；

算法2（产品2）的检测结果：检测出“男生”人数88人，其中80人为男生，8人其实是女生；

经过人工检测，视频中实际准确的总人数为100人，其中男生80人，女生20人。

判断那种方法更好

由上评价指标进行度量。有下表

算法1

	预测男	预测女
真实男	78(TP)	2(FN)
真实女	4(FP)	16(TN)

其查准率=TP/(TP+FP)即预测为男生的人中，真实男生人数占被预测为男生人数的比例

即=78/(78+4)=0.95122

其查全率=TP/(TP+FN)即所有的男生中被正确预测为男生人数的比例

即=78/(78+2)=0.975

F1-score

$F1=\frac{2PR}{P+R}=\frac{2TP}{样本总数+TP-TN}$=2*78/100+78-16=156/162=0.963

算法2

	预测男	预测女
真实男	80(TP)	0(FN)
真实女	8(FP)	12(TN)

其查准率=TP/(TP+FP)即预测为男生的人中，真实男生人数占被预测为男生人数的比例

即=80/(80+8)=0.9091

其查全率=TP/(TP+FN)即所有的男生中被正确预测为男生人数的比例

即=80/(80+0)=1

F1-score

$F1=\frac{2PR}{P+R}=\frac{2TP}{样本总数+TP-TN}$=2*80/100+80-12=0.9524

三、结论

因为算法1中的F1值比算法2F1值高，所以算法1更好些

=\frac{2TP}{样本总数+TP-TN}$=2*80/100+80-12=0.9524

三、结论

因为算法1中的F1值比算法2F1值高，所以算法1更好些