论文笔记（四）：Tiny-DSOD: Lightweight Object Detection for Resource-Restricted Usages

本文以Tiny-DSOD为主线，介绍其来龙去脉，和相关的几篇文章。

论文：Tiny-DSOD: Lightweight Object Detection for Resource-Restricted Usages 
论文链接：https://arxiv.org/abs/1807.11013 
caffe代码：https://github.com/lyxok1/Tiny-DSOD

1. Related work

这部分会在后面分别转或者写一些文章

1.1 目标检测milestone方法

1.2 Tiny-DSOD的来龙去脉

1.3. SSD+DenseNet=DSOD

DSOD是第一篇不需要预训练模型的目标检测Paper

DSOD的performance

DSOD的backbone部分

DSOD的Front end部分

1.4. DSOD+DSS module=DSOD v2

DSOD v2主要是在DSOD上增加了下述模块，deep-scale supervised (DSS) module，以进一步验证

深度监督机制（Deep Supervision mechanism）的有效性 。

DSS结构将来自不同blocks的三个不同尺度的feature maps（low, middle and high levels）concatenate成单个预测模块。 

在DSOD * v2中，还使用post-activation替换DSOD中BN的pre-activation。 这提高了0.6的mAP 

DSOD v2的表现如下表

1.5. Depthwise Separable Convolution

传统的卷积如下图，channels && region同时进行。

而深度可分离卷积（Depthwise Separable Convolution），二者分开进行，如下图，

实验表面，深度可分离卷积减少了参数量，提高了准确率。

对于参数量的计算如下表

1.6. FPN

1.7. Lightweight Object Detection Networks

Tiny-YOLO，SqueezeDet，MobileNet-SSD，Pelee等

2. Motivation

当前的大部分目标检测工作都极其依赖GPU和存储资源，不适合那些有资源限制的应用，所以本文力求做到准确率和资源的平衡，即在尽量不降低准确率的情况下，降低资源的消耗。

3.Contribution

本文的贡献：

结合DenseNet和深度可分离卷积，提出了Depthwise dense block (DDB) ；

结合FPN和深度可分离卷积，提出了D-FPN；

结合提出的Depthwise dense block (DDB)和D-FPN，提出Tiny-DSOD。

4.Method

one-stage的目标检测都是backbone部分提取feature  map，Front end部分进行回归，所以分这两部分进行介绍Tiny-DSOD。

4.1 Depthwise Dense Blocks Based Backbone

把深度可分离卷积（depth-wise separable convolution）引入到普通的Dense block，提出了两种DDB units，DDB-a和DDB-b

作者通过实验证明，DDB-b的性能远好于DDB-a,所以我们以b为例进行介绍。

（1）把输入channel压缩到growth rate g（对应DDB-b图的蓝色框部分，1x1的Conv）

（2）进行深度可分离卷积（对应DDB-b图的绿色部分，3x3的DW Conv）

（3）深度可分离卷积的输出直接concatenate到输入，无需额外的1×1projection。

Tiny-DSOD完整的Backbone如下图

4.2 Depthwise FPN based Front-end

放张SSD的Front end图，SSD和DSOD的Front end有局限性，就是浅层的预测层缺乏目标的语义信息。

补充一下，一般认为，深度学习模型浅层学习了目标的结构和分辨率的信息，高层学习了语义信息，而SSD和DSOD都是提取了六个feature map 进行预测，那么前面的，比如上图的38x38和19x19比较低层，此时网络还没学到足够的语义信息。

所以作者设计一个名为depthwise FPN（D-FPN）的轻量级FPN，用于将信息流从较深和较小的feature maps重定向到较浅的。

由下采样（a downsampling path）和反向的上采样（a reverse upsampling path）组成

这种反向的上采样已经被很多文章证明其有效性，但是大部分都是用反卷积来实现，这大大增加了模型的复杂度，也使得模型难以收敛。

作者使用简单的双线性插值层（a simple bilinear interpolation layer）和a depth-wise convolution对the top feature maps进行上采样。

5. Experiment

5.1 Ablation Study on PASCAL VOC2007 test set

(1)  DDB-b 优于DDB-a

(2)  D-FPN的有效性

(3) Overall growth rate增加， Accuracy上升

(4)  资源 (parameter-size & FLOPs) 和准确率(mAP) 的Trade-off-----Row(5)&(6)

5.2 Benchmark Results on PASCAL VOC2007

5.3 Benchmark Results on KITTI

5.4 Benchmark Results on COCO

6.Conclusion

（1）提出轻量级目标检测（lightweight object detection）方法，即Tiny-DSOD，用于资源受限的场景（resource- restricted usages）。 

（2）两个新模块：depthwise dense blocks （DDB）和depthwise feature pyramid networks（D-FPN） 

7.Reference

[1]  Gao Huang, Zhuang Liu, Laurens Van De Maaten, and Kilian Q. Weinberger. Densely

connected convolutional networks. In CVPR, 2017.

[2]  WeiLiu,DragomirAnguelov,DumitruErhan,etal.Ssd:Singleshotmultiboxdetector.

In ECCV, pages 21–37, 2016.

[3]  ZhiqiangShen,ZhuangLiu,JianguoLi,etal.Dsod:Learningdeeplysupervisedobject detectors from scratch. In ICCV, pages 1937–1945, 2017.

[4] L. Liu, W. Ouyang, X. Wang, P. Fieguth, J. Chen, X. Liu, and M. Pietikainen . Deep learning for generic object detection: A survey . arXiv preprint arXiv:1809.02165, 2018.

[5] Yuxi Li, Jiuwei Li, Weiyao Lin, and Jianguo Li. Tiny-DSOD: Lightweight Object Detection for Resource-Restricted Usages. In BMVC 2018.

[6] Zhiqiang Shen∗, Zhuang Liu∗, Jianguo Li, Yu-Gang Jiang, Yurong Chen and Xiangyang Xue .

Object Detection from Scratch with Deep Supervision. In arXiv.

[7] Francois Chollet. Xception: Deep learning with depthwise separable convolutions. In CVPR, 2017.

[8]  Tsung Yi Lin, Piotr Dollar, Ross Girshick, Kaiming He, et al. Feature pyramid net-

works for object detection. In CVPR, pages 936–944, 2017.