模型性能评测

模型性能评测
考虑一个二分问题，即将实例分成正类（positive）或负类（negative）。
对一个二分问题来说，会出现四种情况。如果一个实例是正类并且也被 预测成正类，即为真正类（True positive）；
如果实例是负类被预测成正类，称之为假正类（False positive）；
相应地，如果实例是负类被预测成负类，称之为真负类（True negative）；
正类被预测成负类则为假负类（false negative）。
1、精确度accuracy = 正确数/总数

2、查全率（RECALL）——真正正样本中预测正确的比例，模型识别正例的能力
recall = TP/(TP+FN)

3、查准率（precision）——预测为正样本中的预测正确的比例
precision = TP/(TP+FP) 被正确预测的正例在所有预测为正例的样本的比例。如果模型查准率高，那么如果一个样本被预测为正例，那么这个样本为正例的把握就很大

4、真正类率(true positive rate ,TPR), 计算公式为TPR=TP/ (TP+ FN)，刻画的是分类器所识别出的 正实例占所有正实例的比例。
5、假正类率(false positive rate, FPR),计算公式为FPR= FP / (FP + TN)，计算的是分类器错认为正类的负实例占所有负实例的比例。
在一个二分类模型中，对于所得到的连续结果，假设已确定一个阀值，比如说 0.6，大于这个值的实例划归为正类，小于这个值则划到负类中。如果减小阀值，减到0.5，固然能识别出更多的正类，也就是提高了识别出的正例占所有正例 的比类，即TPR,但同时也将更多的负实例当作了正实例，即提高了FPR。为了形象化这一变化，在此引入ROC，ROC曲线可以用于评价一个分类器。
理想情况下，TPR应该接近1，FPR应该接近0。

6、ROC曲线是通过改变分类的阈值，进而得到一系列的（TPR,FPR）的点，然后根据阈值从小到大得到的点绘制成TPR-FRP曲线，这条曲线称之为ROC曲线，然后计算曲线包围的面积，当面积越大时，说明性能越好。
ROC曲线上的每一个点对应于一个threshold，对于一个分类器，每个threshold下会有一个TPR和FPR。
比如Threshold最大时，TP=FP=0，对应于原点；Threshold最小时，TN=FN=0，对应于右上角的点(1,1)

7、ROC曲线与两个坐标下对应的面积即是AUC。AUC越大，模型更有预测价值。
摘自ROC曲线-阈值评价标准

8、P-R曲线——Precision和Recall组成的曲线
跟ROC曲线类似，改变阈值，得到一系列的RECALL和PRECISION点，绘制成的曲线。

9、P-R曲线包围的面积称之为AP，AP越大性能越好。

10、mAP就是所有的类的AP值求平均。

11、IOU 交并比:(Intersection over Union)
IOU值定位为两个矩形框面积的交集和并集的比值。即:IOU = A ∩ B/ A ∪ B

12、每秒帧率（Frame Per Second，FPS），即每秒内可以处理的图片数量。FPS简单来理解就是图像的刷新频率，也就是每秒多少帧。
假设目标检测网络处理1帧要0.02s。此时FPS就是50

trainval_percent用于指定(训练集+验证集)与测试集的比例，默认情况下 (训练集+验证集):测试集 = 9:1。
train_percent用于指定(训练集+验证集)中训练集与验证集的比例，默认情况下 训练集:验证集 = 9:1。