摘要:本文介绍两种端到端训练通用目标检测算法--DETR和DeFCN。
通用目标检测作为计算机视觉中一个基础的任务,对着图像理解、信息提取有着极为重要的意义。对于该任务目前已经发展出了许多方法,如基于全卷积的单阶段方法DenseBox,YOLO,SSD, RetinaNet和CenterNet等,以及更加复杂的多阶段方法RCNN, Fast RCNN, Faster RCNN和 Cascade RCNN等。根据目标检测任务的定义,这些方法需要对图像中出现的目标物体进行定位和分类,为了确保目标的召回率,结合卷积神经网络的采用的滑动窗口预测的特性,上述的方法均使用卷积进行密集的候选区提取和目标预测,因此对于输入的每个目标,往往有多个网络预测值相对应。
这些方法通常使用非极大值抑制方法(NMS)对重复的预测结果进行过滤,从而得到最终预测结果。不同于卷积操作,NMS过程不可导,模型无法对去重的过程进行优化,最终的检测检测模型也由于该操作的存在不能做到完全端到端。
通用目标检测近期的一些进展中,一些方法实现了端到端训练,训练和推理均无需NMS操作。如基于Transformer的DETR[1]和全卷积DeFCN[2], 两种方法采用了较为不同的实现路线,分别具有不同的优势和潜力,下面对这两种方法进行介绍。
DETR
Transformer在自然语言处理任务中取得了巨大的成功,DETR首次将Transformer应用到目标检测任务之中,实现了端到端目标检测,并在COCO目标检测任务上取得了和高度优化的Faster RCNN相当的精度。DETR对目标、全局信息之间的关系进行推理,无需NMS直接并行的输出预测目标集。
如图1 所示,DETR将CNN和Transformer组合的结