目标检测基本概念

最新推荐文章于 2023-11-17 09:15:00 发布

碑一

最新推荐文章于 2023-11-17 09:15:00 发布

阅读量1.1k

点赞数 1

分类专栏：模型性能度量

本文链接：https://blog.csdn.net/dedell/article/details/103620869

版权

模型性能度量专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章目录

1 ACC,P,R,AP
2 Epoch, Batch, Iteration
3 AUC
- 3.1什么是AUC？

1 ACC,P,R,AP

精度（accuracy）=(TP+FN)/ALL
有多少选对了
错误率=(TN+FP)/ALL
有多少选错了

查准率（Precision）=TP/(TP+FP)
选出来的有多少对的。
查全率（Recall）=TP/(TP+FN)
有多少对的被选出来。

AP（Average Precision）：对每个R对应的P都加起来，求均值。
（单个类的的PR曲线面积。）
mAP:所有类的AP求均值。

2 Epoch, Batch, Iteration

2.1 基本含义

![在这里插入图片描述](https://img-blog.csdnimg.cn/20200723194143934.png

2.2 换算关系

实际上，梯度下降的几种方式的根本区别就在于上面公式中的 Batch Size不同。

*注：上表中 Mini-Batch 的 Batch 个数为 N / B + 1 是针对未整除的情况。整除则是 N / B。

2.3 示例

CIFAR10 数据集有 50000 张训练图片，10000 张测试图片。现在选择 Batch Size = 256 对模型进行训练。

每个 Epoch 要训练的图片数量：50000
每个 Epoch 需要完成的 Batch 个数： 50000/256=195+1=196
每个 Epoch 具有的 Iteration 个数： 196
每个 Epoch 中发生模型权重更新的次数：196
训练 10代后，模型权重更新的次数：1960

3 AUC

3.1什么是AUC？

AUC只能用于二分类模型的评价。很多机器学习的模型对分类问题的预测结果都是概率，如果要计算accuracy，需要先把概率转化成类别，这就需要手动设置一个阈值，而这个阈值很大程度上影响了accuracy的计算。使用AUC可以避免把预测概率转换成类别。AUC是Area under curve的首字母缩写。curve是指ROC曲线。其x轴是伪阳性率（false positive rate），y轴是真阳性率（true positive rate）
对于二分类问题，一个样本的类别只有两种，我们用0，1分别表示两种类别，0和1也可以分别叫做阴性和阳性。当我们用一个分类器进行概率的预测的时候，对于真实为0的样本，我们可能预测其为0或1，同样对于真实为1的样本，我们也可能预测其为0或1，这样就有四种可能性：
在这里插入图片描述
真阳性率=（真阳性的数量）/（真阳性的数量+伪阴性的数量）
伪阳性率=（伪阳性的数量）/（伪阳性的数量+真阴性的数量）

我们来看一个具体例子，比如有5个样本：
真实的类别（标签）是y=c（1，1，0，0，1）一个分类器预测样本为1的概率是p=c（0.5，0.6，0.55，0.4，0.7）
我们需要选定阈值才能把概率转化为类别，选定不同的闽值会得到不同的结果。如果我们选定的阈值为0.1，那5个样本被分进1的类别，如果选定0.3，结果仍然一样。如果选了0.45作为闽值，那么只有样本4被分进0，其余都进入1类。一旦得到了类别，我们就可以计算相应的真、伪阳性率，当我们把所有计算得到的不同真、伪阳性率连起来，就画出了ROC曲线。
在这里插入图片描述
AUC就是从所有1样本中随机选取一个样本，从所有0样本中随机选取一个样本，然后根据你的分类器对两个随机样本进行预测，把1样本预测为1的概率为p1，把0样本预测为1的概率为p0，p1>p0的概率就等于AUC。所以AUC反应的是分类器对样本的排序能力。根据这个解释，如果我们完全随机的对样本分类，那么AUC应该接近0.5。另外值得注意的是，AUC对样本类别是否均衡并不敏感，这也是不均衡样本通常用AUC评价分类器性能的一个原因。