非极大值抑制(Non-max suppression)
非极大值抑制,简称为NMS算法,英文为Non-Maximum Suppression。其思想是搜素局部最大值,抑制极大值。非极大值抑制,在计算机视觉任务中得到了广泛的应用,例如边缘检测、人脸检测、目标检测(DPM,YOLO,SSD,Faster R-CNN)等。
目标检测的过程中在同一目标的位置上会产生大量的候选框,这些候选框相互之间可能会有重叠,此时我们需要利用非极大值抑制找到最佳的目标边界框,消除冗余的边界框。
左图是人脸检测的候选框结果,每个边界框有一个置信度得分(confidence score),如果不使用非极大值抑制,就会有多个候选框出现。右图是使用非极大值抑制之后的结果,符合我们人脸检测的预期结果。
非极大值抑制的流程如下:
-
根据置信度得分进行排序
-
选择置信度最高的边界框添加到最终输出列表中,将其从边界框列表中删除
-
计算置信度最高的边界框与其它候选框的IoU
-
删除IoU大于阈值的边界框
-
重复上述过程,直至边界框列表为空。
Soft-NMS:
NMS的问题:NMS直接将和得分最大的box的IOU大于某个阈值的box的得分置零,太简单粗暴。
解决:相邻区域内的检测框的分数进行调整而非彻底抑制,从而提高了高检测率情况下的准确率。
上图是Soft NMS算法的伪代码如果是传统的NMS操作,那么当B中的box bi和M的IOU值大于阈值Nt,那么就从B和S中去除该box;如果是Soft NMS,则对于B中的box bi也是先计算其和M的IOU,然后该IOU值作为函数f()的输入,最后和box bi的score si相乘作为最后该box bi的score。
- nms的 f 函数:
- soft-nms 的 f 函数:
为了改变NMS这种hard threshold做法,并遵循iou越大,得分越低的原则(iou越大,越有可能是false positive)