深度学习评判指标

目标检测mAP计算以及coco评价标准_哔哩哔哩_bilibili

1. IoU(Intersection  over Union)

并交比(Intersection over Union)函数,可以用来评价对象检测算法,判断对象检测算法运作是否良好      IOU =  (A ∩ B / A ∪ B)

在对象检测任务中,希望能够同时定位对象,所以如果实际边界框是红色的,算法给出这个紫色的边界框 两个边界框的并集是绿色区域,就是属于包含两个边界框区域(绿色阴影表示区域) 所以交并比(loU)函数做的是计算两个边界框交集和并集之比,而交集就是这个比较小的区域(黄色阴影表示区域) 那么交并比就是交集的大小,这个黄色阴影面积,然后除以绿色阴影的并集面积  

 一般约定,在计算机检测任务中,如果loU≥0.5,那么结果是可以接受的,就说检测正确,如果预测器和实际边界框完美相同大小,就预示着交集要大于三分之二 如果预测器和实际边界框完美重叠,loU就是1,因为交集就等于并集

2. 目标检测 

1. TP:True positive (预测正确)
所有预测框与真实框的 IOU > 预设IOU值(一般为0.5),并且要满足同一个Ground Truth 只计算一次。(比如下图中的红色cat 0.9)
2. FP:False Positive(假阳性)
IOU < = IOU阈值的检测框数量,或者是检测到同一个GT的多余检测框的数量。(比如cat 0.3)
3. FN:False Negative(漏检)
没有检测到GT的数量(漏检,比如下图右下角的猫)
4. TN:True negative(不怎么需要)
IOU < IOU阈值,没有被检测到,GT也没有标注的数量(本来就是负样例,分类也是负样例)

5. Precision(查准率)
模型预测的所有目标中,预测正确的比例。预测框总量中,预测框与GT的IOU大于阈值的比例。查的准不能代表网络效果好,因为可能存在漏检。如下图,TP为1,FP为0,准确率为100%

6Recall (召回率,查全率)
代表所有真实目标中,模型预测正确的比例。(查看漏检的情况),当然也不能只看Recall来判定模型的好坏,如下图所示,Recall为100%,FN为0

由于单看Precision和Recall无法判定模型好坏,由此引出一下评判指标
7. F1分数(F1-Score,平衡F分数): 

定义为准确率和召回率的调和平均数。
8. AP (Average  Precision ,平均精度): P-R  曲线下面积
P-R曲线,Precision-Recall 曲线

AP是由PR曲线面积得到的:近似计算或者插值计算

9. mAP : mean Average  Precision,即各类别AP的平均值
COCO 数据集,设定多个 IOU 阈值(0.5-0.95,0.05为步长),在每一个IOU阈值下都有某一类别的 AP 值,然后求不同 IOU 阈值下的 AP 平均,就是所求的最终的某类别的AP值。

10.检测速度

前传耗时(ms):从输入一张图像到输出最终结果所消耗的时间,包括前处理耗时(如图像归一化)、网络前传耗时、后处理耗时(如非极大值抑制) 
每秒帧数FPS (Frames Per Second):每秒钟能处理的图像数量
两者高度依赖于软硬件情况,不同机器,不同环境,差异非常大
浮点运算量(FLOPS):处理一张图像所需要的浮点运算数量,跟具体软硬件没有关系,可以公平地比较不同算法之间的检测速度。

最好的方法,就是在相同的软硬件下,确定的应用环境下,比较不同算法的检测速度

3. 例子

(1)Confidence (置信度)按照降序排列,以下三张图为检测结果,num_ob为人工标注的数量

 图一

 图 二 

 图 三

(2)针对设置不同confidence阈值计算Precision,Recall

当设置阈值为0.98,查准率为1,查全率为 1/7

当阈值设为0.89 ,FN(漏检个数)为 5,查准率为1,查全率为 2/7 当阈值设为0.88,FN(漏检个数)为 4,查准率为1,查全率为 3/7

 当阈值设为0.78,FN(漏检个数)为 3,查准率为1,查全率为 4/7

 当阈值为0.66,TP(检测到的正确目标个数)为4,有一个假阳性 FP

 以下同样

(3)计算 AP
当Recall有重复的时候,只需要保留Precision最大的那一个,阴影面积就是AP

4.COCO数据集评价指标

(1) 第一个AP(coco主要的评价指标)为从0.5到0.95每次增加0.05所计算AP的平均值,类似于mAP
(2) AP  Across  Scales :  对于不同尺寸的目标的AP

(3) AR 平均查全率:根据每张最多目标数目
(4) 根据目标不同尺度的AR

    

  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值