目标检测指标

二分类器指标

ROC和PR曲线

对于二分类器来说，常见的指标是ROC曲线和PR曲线。
先介绍一个Confusion matrix，这个图是必须牢记脑袋里的。

有了这个图就好说了，ROC曲线表示的是TPR（真阳率）和FPR（假阳率）的关系，PR去向表示的是precision和recall的关系。
如下：

AUC

AUC（Area Under Curve）即为ROC曲线下的面积。

为什么选择ROC曲线？

既然已经这么多评价标准，为什么还要使用ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。下图是ROC曲线和Precision-Recall曲线5的对比

目标检测性能指标

1. 识别精度
2. 识别效率
3. 定位准确性

在目标检测的评价体系中，有一个参数叫做 IoU，简单来讲就是模型产生的目标窗口和原来标记窗口的交叠率。在Pascal VOC中，这个值为0.5。而2014年以来出现的MS COCO竞赛规则把这个IoU变成了0.5-1.0之间的综合评价值，也就是说，定位越准确，其得分越高，这也侧面反映了目标检测在评价指标方面的不断进步。

目标检测进展

传统目标检测方法

传统的目标检测方法，这篇 overview [1] 里总结的比较全面，而且都给了性能和时间复杂度的比较，对传统方法比较感兴趣的建议可以精读一下。考虑到 detection 的精度与时间复杂度问题，就介绍下 SelectiveSearch [2] 和 Edgeboxes [3]。

基于深度学习的目标检测进展

R-CNN
Fast-R-CNN
Faster-R-CNN
YOLO
SSD

参考资料

1. http://blog.csdn.net/eddy_zheng/article/details/52097557
2. http://blog.csdn.net/eddy_zheng/article/details/52126641
3. http://alexkong.net/2013/06/introduction-to-auc-and-roc/
4. http://www.tuicool.com/articles/veuqam7
5. http://blog.csdn.net/xiahouzuoxin/article/details/43165253
6. (Fawcett, 2006)，Fawcett, T. (2006). An introduction to ROC analysis. Pattern recognition letters, 27(8), 861-874.
7. Davis, J., & Goadrich, M. (2006, June). The relationship between Precision-Recall and ROC curves. In Proceedings of the 23rd international conference on Machine learning (pp. 233-240). ACM.