以通过核酸检测阳性(TP或FP)确诊新冠病人为例,一般会设定阳性(实际真正有病的)病例为正样本(正例):
精确率P,是指所有核酸检测结果为阳性(TP+FP)的人员中,真正为新冠病人的比例,也就是真阳性人数(检测结果阳性中真为新冠病人的人数,TP)占阳性人员总数的
比值;
召回率R,指所有的新冠病人中,核酸检测结果为阳性的比例,也就是真阳性人数(检测结果阳性中真为新冠病人的人数)占新冠病人总数的比值;
准确率A,指检测的所有人中,检测结果正确的比例,也就是检测结果为真阳性和真阴性的人数占所有人数的比值。
置信度阈值用于判断是是P还是N。大于置信度阈值,判断为P;小于的不用执行后面的IOU判断(因为任一目标的GTs总数=TP+FN)。
这一步操作实际上是在置信度从大到小排序后,后续的逻辑判断及计算过程中,自动完成置信度阈值的从大到小选取。
IOU阈值用于判断是是T还是F。在NMS前提下(NMS也有阈值),大于IOU阈值,判断为T;小于的为F。
只用于对P样本的判断。
因为求P(精确率)和R(召回率)时,不需要TN。
IOU阈值越小,TP越多,判断为FP的就越少,计算出的P和R就都会越大。
IOU阈值为什么不能特别小?
(1)虽然TP越多,判断为FP的就越少,计算出的P和R就都会越大;
(2)但是阈值越小时,定位准确性会越差,非常小时 定位准确性很差(跟标签重合面积小),而且可能跟临近的别的同类标签相互误判。
所以1副图中只有1个目标物体时,不考虑定位准确性的话,IOU阈值可以很小。
纵撕和疲劳检测,FPR(误检率或过杀率或假阳率)要尽量低,以降低成本,并通过后续判断提高准确性。
FPR=FP/全部真实的负样本=FP/(FP+TN)
一副图中或一个数据集中TN是固定
值或者可认为是固定值,很多时候这个值不需要统计。
FPR=1/(1 + TN/FP)
所以,FP越少越好(FPR越低)。
比如二分类时,没眨眼的图像(或不含纵撕的图像)总数就是N(真实负样本)的总数。
FP是置信度高(>阈值),但IOU值低于阈值,相当于误检出(多检出)的框。
FP越少,则需要置信度阈值尽量大 或 (最好是和)IOU阈值尽量低,或者要求训练及检测
时置信度值结果更准确(不一定是越高或越低更好)。
所以得到低FP(低FPR、高P)的方法就两三个:
1. 增加样本数、优化预处理方法 或 优化算法及网络结构,让置信度值更准;
2. 调高置信度阈值;
3. 调低IOU阈值。
FP是置信度高(>阈值),但IOU值低于阈值,相当于误检出(多检出)的框。
尽量让FP少,TP一般会变多(也可能变少,因为有可能FP+TP总数就少了),即
置信度阈值
调高、IOU阈值调低时,TP的数量不一定变多,
但精确率P会更高(主要是FP会减少)。因为:
P= TP/(TP + FP)= 1/(1 + FP/TP)
纵撕检测,一类故障(目标),也可认为是二分类,只检测一副图中有没有纵撕这个目标,没检测到目标就是没纵撕;
安全帽检测,两类目标,其中未带安全帽的为主要目标,两者关系需进一步分析。
疲劳检测,两类目标,睁眼和闭眼,重点关注闭眼的检测结果。