3D车辆检测AP评价指标代码的理解

课题研究的是单目3D车辆的识别，采用的目标检测网络是SMOKE，为了可以更好的定量评测训练模型的性能，需要使用到合理的评测指标，目前比较流行的评测指标是得到多组precision和recall值画出PR曲线，然后计算PR曲线下的面积得到AP。

关于更详细的原理的介绍已经有很多优秀的文章，本篇博客主要是结合Kitti数据集的官网代码以及自己的理解做的一些总结，如有理解不当请斧正。

基本概念的理解

IOU：IOU指的是两个检测框的交并比，也就是两个框的重合程度，数值越大代表两个框重合度越高。在计算AP的过程中，IOU的一个作用是作为判断目标是否被检测出来的阈值，如果detection框与groundtruth框的IOU大于一定的阈值（比如说0.7），那么就说明目标别检测出来了。

注意：对于绘制PR曲线来说，判断目标是否被检测出来有两个重要指标，一个是上面说的IOU，还有一个就是置信度，所以我理解IOU的作用就是做一个固定值的过滤，后续画PR曲线的precision和recall值对其实是根据置信度的不断调整获得的。

TP，FP，FN：T和F代表true和false，P和N代表positive和negative，所以

• TP：检出目标是positive，groundtruth确实是true，说明目标被正确的检出
• FP：检出目标是positive，groundtruth却是false，说明误检出了不存在的目标，误检
• FN：检出目标是negative，groundtruth是true，说明本该被检出的没有检出，漏检

precision和recall：precision和recall的定义如下

那么在程序中我们应该如何计算TP、FP、FN呢？

 

TP、FP：

遍历detection的每张image中的每个lable，比如image1中的label_b和lable_c，然后对于每一个lable，再遍历groundtruth中image1的所有lable，查看是否匹配，如果成功匹配到一个，那么TP+1，如果groundtruth中都没有匹配的，那么说明detection中此lable为误捡，则FP+1.

FN：

遍历groundtruth的每张image中的每个lable，比如image1中的label_A和lable_B，再去除刚才TP+1的时候匹配上的，如果还有剩下的，那么代表此lable漏检了，FN+1.

 可以看到precision是针对detection，也就是所有detection检测的目标有多少是正确的，也叫作查准率；recall则是针对groundtruth，也就是groundtruth中所有的目标有多少是被检测出来的，也叫作查全率。

从定义可以看出，这两个是指标是矛盾的，要保证其中一个效果好，另一个必然保证不了效果。比如：如果希望precision（查准率）高，那么我就提高检测的阈值，我不用管没检测出来的，我只要保证我检测出来的就是真的目标，那么precision值肯定高，但是因为好多并没有检测出来，漏检很多，recall值肯定不高；如果希望recal