目标检测之CornerNet-Lite

论文: CornerNet-Lite: Efficient Keypoint Based Object Detection

Github：https://github.com/princeton-vl/CornerNet-Lite

 

CornerNet作为无anchor检测框架的典范，CornerNet-Lite依然是普林斯顿的几位哥们的续集。

论文主要改进CornerNet推理速度慢的问题，提出了CornerNet-Lite。CornerNet-Lite主要由2个侧重不同的网络组成，分别是CornerNet-Saccade和CornerNet-Squeeze。CornerNet-Saccade适用于离线检测，相比CornerNet在COCO数据集上提升了1%的准确性和6倍的速度。CornerNet-Squeeze适用于实时检测，相比YOLOv3在coco数据集上提升1.4%。速度快5ms。

 

主要贡献：

1. 提出了CornerNet-Saccade和CornerNet-Squeeze两个新颖的结构作为无anchor领域的检测算法。
2. CornerNet-Saccade相比CornerNet在coco数据集上将准确性从42.2%提升到43.2%，速度提升6倍。
3. CornerNet-Squeeze相比CornerNet在coco数据集上将准确性从33.0%提升到34.4%，速度从39ms降低到30ms。

 

目标检测中的视觉扫动（Saccades）：

人类寻找物体是一个动态的过程，且寻找时间与场景的复杂度是直接相关的。当我们的眼神在不同的点之间漂移时，其他的区域会被我们有意忽视。

 

然而，现在的检测算法是一种静态的推理过程且图像金字塔中的每个像素都受到了一样的对待，这使得过程变得没有效率。像selectivesearch或者RPN等，每一个像素区域都得到了公平的对待。而基于人眼扫动，这种attention机制的思想，却可以减少好多无用的计算。直接提取到注意力关注区域。像AutoFocus算法，Autofocus: Efficient multi-scale inference，大大的提高了faster rcnn的训练速度。

 

CornerNet-Saccade：

首先将输入图片通过resize下采样操作2次，分别得到2个图像，分别为长边255像素和长边192像素。然后类似faster rcnn一样，将192长边的图像上下左右补黑色像素至255大小，这样这2个图就可以走batch。当然和faster rcnn还有一点区别，faster中是直接从左上角开始对齐，不足的地方补充黑色像素。

然后基于一个沙漏模块的编码解码模块，在解码模块的不同层上可以分别得到3个不同大小的特征图，分别预测小物体（少于32像素），中物体（32到96像素），大物体（大于96像素），每一个层分别接入3*3conv+RELU+1*1conv+Sigmoid，最终得到3个预测的attention特征图。而在测试的时候只处理阈值大于0.3的特征图区域。

基于这3个特征图，可以得到在这3个特征图上的物体坐标和缩放尺度，基于此，还原回原图的坐标。而训练的时候是在每一个物体的中心位置点作为attention点，并使用focal loss进行训练。

然后基于得到的尚不精确的边框，根据边框得分进行排序，取前top-k的边框。

最后基于这些边框从原图crop出这些区域，再经过2个沙漏结构的网络，得到最终的预测的精确的边框坐标。最后进行soft-nms操作，得到最终的结果。

 

和CornerNet的解构对比，

CornerNet，2个沙漏，104层

CornerNet-Saccade，3个沙漏，54层

 

CornerNet-Squeeze：

该网络的改进思想源自SqueezeNet和MobileNets。

1. 使用SqueezeNet中的firemodule替换CornerNet中的残差模块。包括squeeze layer中的1*1卷积替代3*3卷积进行通道的降维。expand layer中的3*3+1*1卷积替代3*3卷积。
2. 使用3*3的depthwise conv替换firemodule中的传统3*3 conv

实验结果：

 

总结：

作为CornerNet的后续之作，贡献了2个轻量级的无anchor检测框架。