论文地址: http://arxiv.org/pdf/2008.08115v2.pdf
代码: https://dbolya.github.io/tide/
来源: 佐治亚理工学院
论文名称:TIDE: A General Toolbox for Identifying Object Detection Errors
原文作者:Daniel Bolya
问题提出
在肿瘤检测任务中,正确的分类更重要,Bounding Box准确与否不是第一位的;
在机器人抓取任务中,Bounding Box很重要,很微小的Bounding Box偏差可能会导致完全错误的结果。
此外,了解多种导致mAP下降的错误类别,能更有利于分析出模型的优势和弱点;也能够帮助我们确认某个trick解决了什么缺陷从而提高了mAP指标。
因此在mAP的背后,需要做一些错误分析来进一步评价模型是否胜任某个任务。
问题分析
将错误划分为六种类型
该文方法
开发了一套工具:TIDE(Toolkit for Identifying Detection and segmentation Errors ),用于对目标检测和实例分割任务进行失效分析。可以直接应用到输出的预测文件,可以替代标准mAP计算
作者发现,很多背景错误和定位错误其实不是错误,而是GT没有对其进行标注或标注错误,如图8所示。作者发现,定位错误中,高分的top 100中有30个是数据集的标注问题导致的,而背景误差则是能达到50个。