基于轻量级卷积网络的小目标检测--轻量级骨干网络部分

前言

之前一篇博客介绍的是轻量级小目标检测的检测框架部分，本篇博客介绍该项目的轻量级骨干网络设计部分。

1 骨干网络框架DSNet(dlanet网络+shufflenetv2)

现有的骨干网络几乎都会包含Resnet的残差结构和densenet的密集连接结构，dlanet的结构结合了残差结构和密集连接结构，既能通过残差结构有效避免梯度消失，同时又能通过拼接操作减少计算量和保存特征。
另外一方面，对于小目标检测问题，由于候选框的识别分类需要深层大感受野的语义特征，而小目标检测又非常依赖浅层的细节特征，所以多尺度特征融合显得非常有必要，dlanet使用了阶梯状（树状）融合的结构，比FPN具有更好的融合效果。

1.1 主体框架

由于地面目标相对较小，所以为了尽量保存地面小目标的原始特征，本文使用相对较大的 作为图片的输入尺寸。网络结构类似DenseNet多个密集块级联的结构，使用了包含残差结构和通道拼接结构的多个密集融合层级联，并在最后使用多尺度融合层融合不同密集融合层产生的不同尺寸特征图。同时为了增大感受野，减少计算量，图片在卷积网络传递过程中持续下采样，特征图的尺寸逐渐减小，所以为了减少特征在这过程中的流失，保持特征的丰富性和多样性，每次下采样时，特征图尺寸缩小一半，通道数翻倍。网络的主体框架如上表所示。

1.2 密集融合层

密集融合层主要融合同层级相同尺寸的特征图，不仅能够通过残差结构和通道拼接高效完成特征学习、特征复用、特征选择等任务，而且能在缩小特征图尺寸的同时增加通道数，保持特征丰富性和多样性。本文设计了两种密集融合层结构，一种比较复杂，用于生成更丰富更复杂的特征，放在中间，即密集融合层2和密集融合层3；一种比较简单，能够用较少的计算量处理信息生成特征，放在首尾，即密集融合层1和密集融合层4。如下图所示

密集融合层2、3示意图

密集融合层1、4示意图

残差模块示意图
密集融合层的结构和DenseNet的密集块十分相似，第一个步长为2的残差结构主要充当DenseNet中转换层的角色，用于将大特征图下采样成小特征图，连接不同的密集融合层，同时，通道拼接后也都有瓶颈层减少通道数降低计算量。不同于DenseNet的每个特征图都直接复用，这里每两个特征图通道拼接即复用一次。这是因为，一方面，每两个特征图之间已经使用了残差结构，其支路一定程度上能够代替通道拼接的旁路完成特征保存和损失传播的作用，另一方面，减少复用次数也可以减少瓶颈层，降低参数量和计算量。
本文的密集融合层结构结合了DenseNet的密集连接和ResNet的残差结构。一方面，能够通过密集连接将较浅和较深层的特征组合在一起，以更高的计算效率学习跨越更多层次结构的更丰富的特征组合，另一方面也能通过残差结构更好地连接网络不同层，改善反向传播，促进网络优化，避免出现梯度消失。除此之外，使用残差结构也可以减少通道拼接的密度，从而减少瓶颈层，降低参数量和计算量，进一步提高计算效率和融合效率。

1.3 阶梯状多尺度融合结构

1.3.1 多尺度融合的必要性

浅层大尺寸特征图包含丰富的细节信息，对小目标的分类以及定位都有重要意义，而深层小尺寸特征图具有丰富的语义信息，为大目标的识别提供更有力的支撑，多尺度特征融合能够融合浅层特征的细节信息和深层特征的语义信息，在保证获得足够复杂分类特征的同时，增强细节特征提取能力和小目标感知能力，有效提升目标特别是小目标的定位精度，减少小目标的漏检。
除此之外，多尺度特征融合还能增大特征图的尺寸，从而增加特征图上分布的先验框的密度，有效减少小目标的漏检。

如上图所示，图(a)是下采样16倍特征图上的先验框示意图，图(b)是下采样8倍特征图上的先验框示意图，黄色“+”是先验框的中心，橙色虚线是设置的不同尺寸不同宽高比的先验框。图(a)中由于先验框密度太小，先验框中心点距离目标中心点都比较远，所以没有与目标匹配的先验框，图(b)由于下采样倍数更小，特征图尺寸更大，所以先验框的密度也更大，可以有效减少图(a)中红色矩形框出现的漏检情况，对小目标的识别精度有很大提升。

1.3.2 阶梯状融合结构

如上图所示，8s表示密集融合层2输出的，原始$512\times 512$图片下采样8倍后得到的