评价指标概述
1. TP、FP、TN、FN
1.1 混淆矩阵
提到TP、FP、TN、FN,首先介绍以下混淆矩阵。
混淆矩阵也称误差矩阵,是表示精度评价的一种标准格式,用
n
n
n行
n
n
n列的矩阵形式来表示。
混淆矩阵的每一列代表了预测类别,每一列的总数表示预测为该类别的数据的数目;每一行代表了数据的真实归属类别,每一行的数据总数表示该类别的数据实例的数目。
例如:
prediction | ||||
Category 1 | Category 2 | Background | ||
ground truth | Category 1 | 80 | 10 | 10 |
Category 2 | 10 | 70 | 20 | |
Background | 5 | 5 | 5 |
其中,第一行第一列的80表示原本属于类1,且预测为类1的数量为80。
第二行第一列的10表示原本属于类2,且预测为类1的数量为10。
第三行第一列的5表示原本属于背景,且预测为类1的数量为5。
其余数目同理。
第一行总数80+10+10=100,表示全部原本属于类1的数目是100。
第一列总数80+10+5=95,表示全部预测为类1的数目为95。
其余数目同理。
1.2 结合混淆矩阵理解TP、FP、TN、FN
经过混淆矩阵的理解,引出TP、FP、TN、FN的定义:
- TP(True Positive): 真正例,表示预测为正例(positive),且预测正确(true),即原本为正例。
- FN(False Negative): 假反例,表示预测结果为反例(negative),且预测错误(false),即原本为正例。
- FP(False Positive): 假正例,表示预测结果为正例(positive),且预测错误(false),即原本为反例。
- TN(true Negative): 真反例,表示预测结果为反例(negative),且预测正确(true),即原本为反例。(注:用不到这个)
个人记忆的方法是,后面的字母表示预测的结果,前面的字母表示预测的正确与否。
prediction | |||
正例 | 反例 | ||
ground truth | 正例 | TP(真正例) | FN(假反例) |
反例 | FP(假正例) | TN(真反例) |
1.3 常用指标
1.3.1 精准率(Precision):
P
=
T
P
T
P
+
F
P
P=\frac{TP}{TP+FP}
P=TP+FPTP
精准率(Precision)又叫查准率,它是针对预测结果而言的,它的含义是在所有被预测为正的样本中实际为正的样本的概率,意思就是在预测为正样本的结果中,我们有多少把握可以预测正确。
1.3.2 召回率(Recall):
R
=
T
P
T
P
+
F
N
R=\frac{TP}{TP+FN}
R=TP+FNTP
召回率(Recall)又叫查全率,它是针对原样本而言的,它的含义是在实际为正的样本中被预测为正样本的概率。
1.3.3 漏杀:
漏杀率 = F N T P + F P = 1 − P 漏杀率=\frac{FN}{TP+FP}=1-P 漏杀率=TP+FPFN=1−P
漏杀率的评估方式是假反例除以总样本数。
1.3.4 过杀:
过杀率 = F P T P + F P 过杀率=\frac{FP}{TP+FP} 过杀率=TP+FPFP
过杀率的评估方式是假正例除以总样本数。