骨干网络和检测模块

一个目标检测网络大都由骨干网络和检测模块组成，检测的Backbone通常从ImageNet分类上面借鉴。目标检测分支通常附连到用于分类的基础模型上（骨干网络）。一个是单阶段检测器，其直接使用骨干对象实例预测。例如YOLO，用一个简单有效的骨干网络Darknet，然后将检测问题简化为回归问题。SSD采用减少VGG_Net和在多层提取特征。使网络在处理多层级对象更强大。RetinaNet [22]使用RESNET作为基本特征提取器，用了“Focal”loss来处理前背景的class imbalance.另一种是两阶段检测，two-stage基于backbone预测很多的proposal，然后额外的分类器用来做proposal的分类和回归。Faster R-CNN用RPN通过backbone生成proposals；R-FCN从backbone生成position sensitive feature map然后用了position sensitive pooling来利用proposal；Deformable convolution Networks尝试使卷积有geometric transformations，通过学习额外的偏移；Feature Pyramid Network利用多尺度，构建了特征金字塔，用U形结构结合了多层输出。
下图A就是一个传统的目标检测网络，B是其骨干网络，剩下那一部分就是检测器。