评价标准
目标检测和图像分割的评价标准是一样的,核心都是使用IOU标准
IOU(Intersection-Over-Union)
OU即Intersection-Over-Union,IoU相当于两个区域重叠的部分除以两个区域的集合部分得出的结果
目标检测
图像分割
Pixel Accuracy&Pixel Precision
上面所述的IoU只是用于评价一幅图的标准,如果我们要评价一套算法,并不能只从一张图片的标准中得出结论。一般对于一个数据集、或者一个模型来说。评价的标准通常来说遍历所有图像中各种类型、各种大小(size)还有标准中设定阈值.论文中得出的结论数据,就是从这些规则中得出的。
基本概念:
Precision(准确率):表示符合要求的正确识别物体的个数占总识别出的物体个数的百分数
Recall(召回率):表示符合要求正确识别物体的个数占测试集中物体的总个数的百分数
FP:false positive(误报),即预测错误(算法预测出一个不存在的物体)
FN:false negative(漏报),即没有预测到(算法没有在物体规定范围内预测出该物体)
TP: true positive(正确),既预测正确(算法在物体规定范围内预测出了该物体)
TN: true negative,算法预测出了此处是背景,也就是说此处没有任何物体,当然也没有mask。
其中T/F可以理解为预测正确/错误,P/F理解为检测出有物体/预测出没有物体。
那么什么是准确度(accuracy,ACC)?注意准确度和精确度(precision)是两码事,两者不可混为一谈,评价标准中,Pixel Accuracy表示检测物体的准确度,重点判断标准为是否检测到了物体,而Pixel Precision则代表检测到所有的物体中覆盖的精确度,重点判断mask是否精确地覆盖到了该物体。
准确度(Accuracy)公式:
TP代表检测出来并且正确的目标,而TN代表正确识别的背景(一般我们将背景也分为一类)。
精确度(Precision)公式:(COCO标准)
而像素精度则是在已经检测到的基础上(不论检测是否失误)进行评测的标准,表示检测出来的目标有多大比例是正确的。
其中,t代表阈值,也就是最开始的AP_{50}AP50和AP_{75}AP75分别代表阈值是0.5和0.75。
而有些任务因为侧重不同所以公式也稍有变化。
对于多分类的检测,只需要在公式最前面加上类别即可:
上面就是AP的基本公式,而AR的公式则如下:
召回率更强调是否能检测到物体而不是检测到正确的物体。一般准确率和召回率不可能都很高,一方高另一方则会稍微低一些,如何trade-off这两个指标是目标检测和图像分割中经常考虑的问题。