轻量级目标检测框架MobileNet-SSD在Caffe下实现的流程步骤

---

本篇博客将涉及对Mobilenet-v1的简单介绍、Mobilenet-SSD的下载及文件说明、网络训练部分、网络测试部分、批归一化融合验证、finetune训练、DepthwiseConvolution即深度可分离卷积在caffe下的实现等内容。

数据集制作及下载请参考我的这篇博客：目标检测SSD网络在Caffe下的实现——基于VOC0712数据集

---

数据来源：VOC0712、NEUDataset
模型：MobileNet-SSD（基于MobileNet-v1）
系统：Linux-Ubuntu

---

MobileNet-v1介绍

论文链接：MobileNets: EfficientConvolutionalNeuralNetworksforMobileVision Applications

MobileNet是Google提出了一个轻量型网络模型，其发展到今天一共有v1、v2、v3三种变形和升级。

本次只涉及到v1的简单讲解。

v1使用深度可分离卷积（depthwise separatable convolutions），即Xception变体结构构建了一个轻量级的深度网络，模型大小只有十几M。

• 深度可分离卷积

  是将标准卷积分解为深度卷积（depthwise convolution）和逐点卷积（pointwise convolution）。

• 标准卷积

  对于一次卷积过程
  输入F：（D_F，D_F，M），其中D_F表示输入feature map尺寸，M表示输入特征维度；
  卷积核K：（D_K，D_K，M，N），其中D_K表示卷积核尺寸，N表示有多少个卷积核，即输出的特征维度；
  输出G：（D_G，D_G，D_G，N），其中D_G表示输出feature map尺寸，N表示输出特征维度；
  计算量: D_K x D_K x M x N x D_F x D_F

• 深度可分离卷积

  输入F：（D_F，D_F，M），其中D_F表示输入feature map尺寸，M表示输入特征维度；
  depthwise：（D_K，D_K，1，M），其中M表示用M个卷积核对输入M个通道作卷积操作（是对应进行操作的吗？），输出通道也为M；
  输出：（D_G，D_G，D_G，M），深度卷后的输出
  pointwise: （1，1，M，N），卷积核尺寸为1X1，输出通道为N，表示用N个1x1卷积核对输入M个通道分别作卷积，输出为N个通道；
  输出G：（D_G，D_G，D_G，N）；
  计算量： D_K x D_K x 1 x M x D_F x D_F + M x N x D_G x D_G

• 计算量对比

  标准卷积 / 深度卷积= N + D_K²
  在这里，为了便于计算量对比值，对于深度可分离卷积的计算量 D_G x D_G部分简化为D_F x D_F，因为一般来说 D_G x D_G小于D_F x D_F，更能说明计算量的对比明显，即使用深度可分离卷积操作，MobileNet-v1显著降低了模型的参数。

因此可以看出深度卷积（depthwise）完成的操作是改变feature map的尺寸大小，而逐点卷积（pointwise）相当于对feature map作全卷积操作，改变的是输出的通道数。

本质上完成的功能和标准卷积一致，但是降低了模型参数。

---

• 使用MobileNet作为特征提取网络，以SSD和Faster-RCNN为例，在coco数据集上mAP值对比：

MobileNet-SSD下载及文件说明

我使用的是Github上chuanqi305的网络结构： Github-MobileNet-SSD下载

---

文件名	文件说明
images	测试模型图片
template	train、test、deploy模板网络结构，在使用gen_model.sh自动生成针对不同类别下的网络结构时会用到
voc	以voc 21个类别生成的网络结构
mobilenet_iter_73000.caffemodel	其训练好的网络模型
demo.py	测试用的脚本代码
gen.py	生成网络结构的代码
merge_bn.py	融合batch_normalization层，用在测试推理过程中，可以提高推理速度
gen_model.sh	针对具有不同类别数量数据集生成相应的网络结构，需要用到template下的文件
test.sh	进行模型测试，给出loss和mAP值
train.sh	进行模型训练
train_voc.sh	对VOC进行训练，区别不大
deploy.prototxt和train.prototxt	网络结构
solver_test.prototxt和solver_train.prototxt	训练和测试时的超参设置

针对VOC0712数据集训练

先说明一下，这部分没有成功。

用MobileNet-SSD对VOC0712数据集直接训练，mAP值低的出乎意料

起初，我怀疑是数据集制作有问题，但是我用同样的数据集在vgg-ssd下可以达到一个和官方差不多的结果即mAP值，可以参考我的这篇博客（目标检测SSD网络在Caffe下的实现——基于VOC0712数据集），所以不会是数据集的问题。

后来我去详细看了一下README.md文件，原来作者是将tensorflow下训练好的模型转成了caffemodel，然后又在coco数据集下进行预训练，最后才在VOC数据集下进行训练才达到一个mAP=0.727的效果。

• 作者原话如下：

I trained this model from a MobileNet classifier(caffemodel and prototxt) converted from tensorflow.
I first trained the model on MS-COCO and then fine-tuned on VOC0712.
Without MS-COCO pretraining, it can only get mAP=0.68.

所以我就先不在voc数据集进行训练了。

---

对作者训练好的模型进行测试

直接进行模型测试

使用的模型：作者训练好的mobilenet_iter_73000.caffemodel
使用的网络结构：deploy.prototxt

• 精度测试

 sudo sh test.sh

结果如下图，精度为0.726，和作者给出的mAP差不多。