评价指标--深度学习

1分类任务

1.1 二分类

混淆矩阵

1.1.1 含义介绍

• TP：预测为真所以是Positive，预测结果和真实结果一致所以为True
• TN：预测为假所以是Negative，预测结果和真实结果一致所以为True
• FP：预测为真所以是Positive，预测结果和真实结果不一致所以为False
• FN：预测为假所以是Negative，预测结果和真实结果不一致所以为False

1.1.2 指标

• Accuracy（准确率）

准确率（Accuracy）表示分类正确的样本占总样本个数的比例。

优点：当样本中不同类别比例均衡时，Accuracy是衡量分类模型的最直白的指标，是一个较好的衡量标准
缺点：当样本中不同类别比例不均衡时，其中占比大的类别会是影响准确率的最主要的因素。

$$Accuracy=\frac{TP+TN}{TP+FP+TN+FN}$$

• Precision（精确率）

别名查准率，表示预测结果为正例的样本中实际为正样本的比例。

特点：使用场景：当反例被错误预测成正例（FP）的代价很高时，适合用精确率。

$$Precision=\frac{TP}{TP+FP}$$

• 召回率

别名查全率，表示预测结果为正样本中实际正样本数量占全样本中正样本的比例。

特点：当正例被错误的预测为反例（FN）产生的代价很高时，适合用召回率。

$$Recall=\frac{TP}{TP+FN}$$

• F1 score

F1 score是精确率和召回率的一个加权平均。

特点：Precision体现了模型对负样本的区分能力，Precision越高，模型对负样本的区分能力越强；Recall体现了模型对正样本的识别能力，Recall越高，模型对正样本的识别能力越强。F1 score是两者的综合，F1 score越高，说明模型越稳健。

$$F_1=2\ast \frac{Precision\ast Recall}{Precision+Recall}$$

1.2多分类

2图像分割

2.1 常用指标

这里的主要是评价两个集合之间的相似性
像素准确率（Pixel Accuracy，PA）
类别像素准确率（Class Pixel Accuray，CPA）
类别平均像素准确率（Mean Pixel Accuracy，MPA）
交并比（Intersection over Union，IoU）
平均交并比（Mean Intersection over Union，MIoU）
Dice coefficient

2.2 具体含义

• PA

  预测类别正确的像素数占总像素数的比例

混淆矩阵计算：
对角线元素之和 / 矩阵所有元素之和
$$PA=\frac{TP+TN}{TP+FP+TN+FN}$$

• CPA

在类别 i 的预测值中，真实属于 i 类的像素准确率，换言之：模型对类别 i 的预测值有很多，其中有对有错，预测对的值占预测总值的比例

混淆矩阵计算：
$$类1：P1=\frac{TP}{(TP+FP)}$$
$$类2：P2=\frac{TP}{(TP+FP)}$$
$$类3：\dots$$

• MPA：类别平均像素准确率

  分别计算每个类被正确分类像素数的比例，即：CPA，然后累加求平均

混淆矩阵计算：
每个类别像素准确率为：Pi（计算：对角线值 / 对应列的像素总数）
$$MPA=\frac{sum(P_i)}{类别数}$$

• IoU：交并比

模型对某一类别预测结果和真实值的交集与并集的比值

混淆矩阵计算：
以求二分类：正例（类别1）的IoU为例
交集：TP，并集：TP、FP、FN求和
IoU = TP / (TP + FP + FN)

• MIoU：平均交并比

模型对每一类预测的结果和真实值的交集与并集的比值，求和再平均的结果

混淆矩阵计算：
以求二分类的MIoU为例
MIoU = (IoU正例p + IoU反例n) / 2 = [ TP / (TP + FP + FN) + TN / (TN + FN + FP) ] / 2

2.3 代码实现

=持续更新=========