机器学习算法的常用评价指标——查准率，查全率，F1-score

一、常用评价指标的介绍

二分类问题
分类结果的混淆矩阵

真实情况	预测结果
	正例	反例
正例	TP(true positive)	FN(false negative)
反例	FP(false positive)	TN(true negative)

说明：TP+FP+TN+FN=样本总数

• 查全率: 真实正例被预测为正例的比例
  $R=\frac{TP}{TP+FN}$
• 查准率:预测为正例的实例中真实正例的比例
  $P=\frac{TP}{TP+FP}$

注意：
一般情况下，查准率高，查全率就会偏低，反之。

为了更好的度量一个模型的好坏，通常需要综合考虑查准率和查全率——F1度量（常用的度量）
$F1=\frac{2PR}{P+R}=\frac{2TP}{样例总数+TP-TN}$

二、实际应用

1. 问题描述
   目标图像识别系统识别的效果
   实验结果如下：
   算法1（产品1）的检测结果：检测出“男生”人数82人，其中78人为男生，4人其实是女生；
   算法2（产品2）的检测结果：检测出“男生”人数88人，其中80人为男生，8人其实是女生；
   经过人工检测，视频中实际准确的总人数为100人，其中男生80人，女生20人。
   判断哪种算法更好？
2. 获取混淆矩阵
   算法1

   真实情况	预测结果
   	男	女
   男	78	2
   女	4	16

   算法2

   真实情况	预测结果
   	男	女
   男	80	0
   女	8	12

3. 计算查准率，查全率，F1-score
   算法1
   查准率:
   $P=\frac{78}{78+2}=0.975$
   查全率:
   $R=\frac{78}{78+4}=0.9512$
   F1-score:
   $F1=\frac{2\ast 78}{100+78-16}=0.963$
   算法2
   查准率:
   $P=\frac{80}{80+0}=1$
   查全率:
   $R=\frac{80}{80+8}=0.91$
   F1-score:
   $F1=\frac{2\ast 80}{100+80-12}=0.952$
4. 评估算法
   从查准率评价指标来看，算法2都要优于算法1，从查全率和F1度量评价指标来看，算法1都要优于算法2。总的来说，算法2更好。

参考资料

【机器学习】(周志华–西瓜书) 真正例率（TPR）、假正例率（FPR）与查准率（P）、查全率（R）
【机器学习】(周志华–西瓜书)的电子档教材