自用——机器学习、深度学习基础

ROC曲线、AUC值、TOP-1/5、IOU

目录

一、模型评估指标

混淆矩阵

2.1 精确率（Accuracy）

2.2 正确率或者准确率（Precision）

2.3 召回率（Recall） = Sensitivity（敏感指标，True Positive Rate，TPR）

2.4 Specificity（特异性） 

2.5 真正类率（TPR）、伪正类率（FPR）

指标——ROC曲线

​编辑

AUC值

AUC计算方法

PR曲线

QKV指标

TOP-1/5指标

IoU(Intersection over Union)

二、LOSS损失函数

一、模型评估指标

混淆矩阵

每一列代表了预测类别，每一行代表了真实类别

True Positive（TP）：真正类。样本的真实类别是正类，并且模型识别的结果也是正类。

False Negative（FN）：假负类。样本的真实类别是正类，但是模型将其识别为负类。 

False Positive（FP）：假正类。样本的真实类别是负类，但是模型将其识别为正类。

True Negative（TN）：真负类。样本的真实类别是负类，并且模型将其识别为负类。

2.1 精确率（Accuracy）

Accuracy是对分类器整体上的精确率的评价，即模型识别正确的个数/样本的总个数。一般情况下，模型的精度越高，说明模型的效果越好。   Accuracy = (TP+TN)/(TP+FN+FP+TN)

2.2 正确率或者准确率（Precision）

Precision是分类器预测为某一个类别的精确的评价，表示被识别为正类的样本中，真正为正类的样本所占的比例。一般情况下，查准率越高，说明模型的效果越好。 Precision = TP/(TP+FP)

2.3 召回率（Recall） = Sensitivity（敏感指标，True Positive Rate，TPR）

模型正确识别出为正类的样本的数量占总的正类样本数量的比值。一般情况下，Recall越高，说明有更多的正类样本被模型预测正确，模型的效果越好。  Recall = TP/(TP+FN)

查准率和查全率是一对矛盾的指标

2.4 Specificity（特异性） 

表示的是模型识别为负类的样本的数量，占总的负类样本数量的比值。Specificity = 1 - FPR

2.5 真正类率（TPR）、伪正类率（FPR）

真正类率Sensitivity（敏感指标，True Positive Rate，TPR），预测为正且实际为正的样本占所有正例样本的比例。TRP=TP/(TP+FN)

负/伪正类率（False Positive Rate, FPR），计算的是模型错识别为正类的负类样本占所有负类样本的比例，一般越低越好。FPR=FP/(TN+FP)

指标——ROC曲线

 

 阈值分别取0-1之间对值，根据阈值的取值结果，得到类别的划分结果，从而求出FPR与TPR值，对应ROC曲线。 ROC曲线接靠近左上角效果越好。

AUC值

 宏观AUC：对应每一个类别分别而算出IOC曲线，得出AUC值去求平均。

 微观AUC：

AUC计算方法

方法一：  AUC很有趣的性质是，它和Wilcoxon-Mann-Witney Test是等价的。Wilcoxon-Mann-Witney Test就是测试任意给一个正类样本和一个负类样本，正类样本的score有多大的概率大于负类样本的score。有了这个定义，我们就得到了另外一种计算AUC的办法：

在有M个正样本,N个负样本的数据集里。一共有M*N对样本（一对样本即，一个正样本与一个负样本）。统计这M*N对样本里，正样本的预测概率大于负样本的预测概率的个数。

 

PR曲线

QKV指标

TOP-1/5指标

Top-1 错误率：指预测输出的概率最高的类别与人工标注的类别相符的准确率，就是你预测的label取最后概率向量里面最大的那一个作为预测结果，如过你的预测结果中概率最大的那个分类正确，则预测正确，否则预测错误。比如预测100张图像的类别，每张图像的最高概率错误的有2张，那么top-1为2%；

Top-5 错误率：指预测输出的概率最高的前5个类别，就是最后概率向量最大的前五名中，只要出现了正确概率（与人工标注类别一致）即为预测正确，否则预测错误。比如预测100张图像的类别，每张图像前5个最高概率类别中没有一个正确时的张数有3张，那么top-5错误率为3%；

Top-1 错误率是指概率最大的预测结果不在正确标签中的概率。
Top-5 错误率是指概率前五的预测结果不在正确标签中的概率。

计算公式如下：

TOP-1 正确率 =（所有测试图片中正确标签包含在最高分类概率中的个数）除以（总的测试图片数）
TOP-1 错误率 =（所有测试图片中正确标签不在最高分类概率中的个数）除以（总的测试图片数）
TOP-5 正确率 =（所有测试图片中正确标签包含在前五个分类概率中的个数）除以（总的测试图片数）
TOP-5 错误率 =（所有测试图片中正确标签不在前五个概率中的个数）除以（总的测试图片数）

IoU(Intersection over Union)

AP代表的是"Average Precision"，代表平均精度，AR代表的是"Average Recall"，表示平均召回率

map指标：综合衡量检测效果

IoU要做的就是计算真实标注和预测标准中测量算法的准确度。

IoU相当于两个区域重叠的部分除以两个区域的集合部分得出的结果。
一般来说，这个score ＞ 0.5 就可以被认为一个不错的结果了。

因为我们识别或者分割图像一般都有好几个类别，所以我们把每个分类得出的分数进行平均一下就可以得到mean IoU，也就是mIoU

分割Dice指标

 

我们把X当作Gt，Y当作Pred，dice系数就可以评价结果了。

参考上面的韦恩图： 

        X = FN + TP

        Y = TP + FP

所以，上面公式可以转换为：

二、LOSS损失函数