深度学习目标检测系列论文阅读和Pytorch实现(二)——SSD论文阅读

最新推荐文章于 2024-04-28 00:30:00 发布
最新推荐文章于 2024-04-28 00:30:00 发布
阅读量707 收藏 6
点赞数
分类专栏： 目标检测 python 文章标签： 深度学习 目标检测 SSD
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/IEEE_FELLOW/article/details/104241995
版权

比较老的论文，但是是one stage的代表。

  • 主要贡献

1）提出SSD检测架构。具有比YOLO更快更准的单阶段检测器，具有和较慢的Faster RCNN一样的准确率。

2）SSD的核心思想是使用一组固定的default bounding box通过小的卷积核作用于特征图上对类别和边框的偏移（offset）进行预测。

3）为了获得高的检测准确率，在不同尺度特征图上进行预测。

4）简单的端到端（end to end）训练并获得高的准确率，提升了speed和accuracy两者的折中（trade-off）。

5）在PASCAL VOC，COCO和ILSVRC数据集上和近期的state of the art算法作出了timing和accuracy的对比。

  • SSD架构

  • Multi-scale feature maps for detection

    在截断的主干网络后添加卷积层。不同于YOLO、FasterRCNN等，这些网络仅仅使用了最后一层特征图进行预测，SSD充分利用了主干网络提取特征形成的多尺度卷积特征图，在不同特征图上分别预测。

论文给出SSD300结构如下：

使用VGG16的卷积层作为骨干网络提取特征并且在多尺度特征图上进行预测。

为了细致分析其结构，首先看VGG16网络结构：

我们使用上图D结构的VGG16的卷积层修改进行特征提取，网络结构如下：

idxoperationfeature map sizeprediction
0Conv2d(3, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))300 
1ReLU(inplace=True)  
2Conv2d(64, 64, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
3ReLU(inplace=True),  
4MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)150 
5Conv2d(64, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
6ReLU(inplace=True)  
7Conv2d(128, 128, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
8ReLU(inplace=True)  
9MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)75 
10Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
11ReLU(inplace=True),  
12Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
13ReLU(inplace=True)  
14Conv2d(256, 256, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
15ReLU(inplace=True)  
16MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=True)38 
17Conv2d(256, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
18ReLU(inplace=True)  
19Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1)，padding=(1, 1))  
20ReLU(inplace=True)  
21Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1)) Y
22ReLU(inplace=True),  
23MaxPool2d(kernel_size=2, stride=2, padding=0, dilation=1, ceil_mode=False)19 
24Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
25ReLU(inplace=True),  
26Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
27ReLU(inplace=True),  
28Conv2d(512, 512, kernel_size=(3, 3), stride=(1, 1), padding=(1, 1))  
29ReLU(inplace=True),  
30MaxPool2d(kernel_size=3, stride=1, padding=1, dilation=1, ceil_mode=False)  
31Conv2d(512, 1024, kernel_size=(3, 3), stride=(1, 1), padding=(6, 6), dilation=(6, 6))  
32ReLU(inplace=True)  
33Conv2d(1024, 1024, kernel_size=(1, 1), stride=(1, 1)) Y
34ReLU(inplace=True)19 

在上面的基础上，SSD增加了额外层进行特征提取和预测，增加的额外层结构如下：

Conv8_1Conv2d(1024, 256, kernel_size=(1, 1), stride=(1, 1))19 
Conv8_2Conv2d(256, 512, kernel_size=(3, 3), stride=(2, 2), padding=(1, 1))10Y
Conv9_1Conv2d(512, 128, kernel_size=(1, 1), stride=(1, 1))  
Conv9_2Conv2d(128, 256, kernel_size=(3, 3), stride=(2, 2)，padding=(1, 1))5Y
Conv10_1Conv2d(256, 128, kernel_size=(1, 1), stride=(1, 1))  
Conv10_2Conv2d(128, 256, kernel_size=(3, 3), stride=(1, 1))3Y
Conv11_1Conv2d(256, 128, kernel_size=(1, 1), stride=(1, 1))  
Conv11_2Conv2d(128, 256, kernel_size=(3, 3)，stride=(1, 1)）1

Y

【注意】论文中的SSD添加的额外层画的和具体实现有所不同，我们看一下作者在自己的Caffe源码上的实现：

# Add extra layers on top of a "base" network (e.g. VGGNet or Inception).
def AddExtraLayers(net, use_batchnorm=True, lr_mult=1):
    use_relu = True

    # Add additional convolutional layers.
    # 19 x 19
    from_layer = net.keys()[-1]

    # TODO(weiliu89): Construct the name using the last layer to avoid duplication.
    # 10 x 10
    out_layer = "conv6_1"
    ConvBNLayer(net, from_layer, out_layer, use_batchnorm, use_relu, 256, 1, 0, 1,
        lr_mult=lr_mult)

    from_layer = out_layer
    out_layer = "conv6_2"
    ConvBNLayer(net, from_layer, out_layer, use_batchnorm, use_relu, 512, 3, 1, 2,
        lr_mult=lr_mult)

    # 5 x 5
    from_layer = out_layer
    out_layer = "conv7_1"
    ConvBNLayer(net, from_layer, out_layer, use_batchnorm, use_relu, 128, 1, 0, 1,
      lr_mult=lr_mult)

    from_layer = out_layer
    out_layer = "conv7_2"
    ConvBNLayer(net, from_layer, out_layer, use_batchnorm, use_relu, 256, 3, 1, 2,
      lr_mult=lr_mult)

    # 3 x 3
    from_layer = out_layer
    out_layer = "conv8_1"
    ConvBNLayer(net, from_layer, out_layer, use_batchnorm, use_relu, 128, 1, 0, 1,
      lr_mult=lr_mult)

    from_layer = out_layer
    out_layer = "conv8_2"
    ConvBNLayer(net, from_layer, out_layer, use_batchnorm, use_relu, 256, 3, 0, 1,
      lr_mult=lr_mult)

    # 1 x 1
    from_layer = out_layer
    out_layer = "conv9_1"
    ConvBNLayer(net, from_layer, out_layer, use_batchnorm, use_relu, 128, 1, 0, 1,
      lr_mult=lr_mult)

    from_layer = out_layer
    out_layer = "conv9_2"
    ConvBNLayer(net, from_layer, out_layer, use_batchnorm, use_relu, 256, 3, 0, 1,
      lr_mult=lr_mult)

    return net

[注意]可以看到在代码中的"conv8_2"、"conv9_2"实际上是没有做stride=2，pading=1的卷积的，这一点和论文结构图下方的文字相符：

事实上，Conv10_2和Conv11_2的卷积操并没有进行跨步stride=2，应该都是5x5x256。猜测特征图太小可能并不利于检测，因为损失的细节可能比较多，毕竟在YOLO v1和FasterRCNN中最后都是7x7的特征图，这里虽然最后两个预测特征图都是5x5，但是通过不同scale的default box依然可以检测不同尺度的目标。真是情况可能还是以实验结果为准，这里我们还是以caffe源码为准。不过值得一提是，在SSD512中，最后的一层预测特征图是1x1x256.

具体细节可以参看原论文。

这里我们可以修改VGG主干网络成19年出的EfficientNet。

EfficientNet-b4和Vgg16具有相当的参数：

modelTop-1Acc. Top-5Acc.#Params
VGG-1671.93% 90.67%14.7M
ResNet-5076.0% 93.0%26M
EfficientNet-B483.0% 96.3%19M

其中VGG16我们仅仅计算卷积层参数大约：138M - [（1000×4096+1000）+ （4096×4096+4096）+(224/2^5)^2 *512 *4096]/10^6=14.7M

借用EfficientDet论文中的图，可以看到P3相当于SSD300中Conv4_3。鉴于EfficientNet本身结构比较深，上图一直到P5都是EfficientNet主干网络。仿照SSD300结构，我们还是在最后添加类似Conv9-Conv11共6层，保持SSD300结构一致性。

下一章节介绍SSD的Pytorch代码实现

MidasKing
关注
专栏目录
深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
动手学深度学习V2.0(Pytorch)——19.卷积
Castlehe的博客
12-09 2356
P1 从全连接层到卷积 https://www.bilibili.com/video/BV1L64y1m7Nh 假设有一个还不错的手机，拍出来一张图片（比如iphone11的后置摄像头，就是双摄：1200 万像素广角及超广角，来自iphone11技术规格）。那么一张照片至少12M（Million 百万），如果是RGB图的话就是36M？？？ 如果使用一个有100个神经元的单隐藏层的MLP，考虑一下，y=wx+by=wx+by=wx+b，这里x=36M∗1x=36M*1x=36M∗1，则w=100∗36M=
深度学习-目标检测-SSD-pytorch
qq_29007291的博客
01-05 1188
有个细节要注意, 返回的target,针对每个图像是不同的维度。因为每个图所拥有的bounding boxes的数量是不相同的，不像yolo，target的维度是固定的。
深度学习目标检测系列论文阅读和Pytorch实现(一)
IEEE_FELLOW的博客
01-20 701
深度学习中目标检测通常分单阶段和两阶段算法。这里整理最近研究的单阶段系列算法，包含论文的简单介绍和Pytorch代码实现。 算法路线为SSD=>FPN=>RetinaNet=>EfficientDet. 目前正在复现EfficientDet论文。 1、SSD论文解读 2、SSD算法实现和训练自己的数据集 3、FPN论文解读：https://blog.csdn.net/I...
如何在 PyTorch 中设定学习率衰减（learning rate decay）
热门推荐
Smile
10-17 2万+
很多时候我们要对学习率（learning rate）进行衰减，下面的代码示范了如何每30个epoch按10%的速率衰减： def adjust_learning_rate(optimizer, epoch): """Sets the learning rate to the initial LR decayed by 10 every 30 epochs""" lr = args...
Pytorch系列2：实现不同层设置不同的学习率
xddwz的博客
05-17 2064
1、选择要调整的学习率对应的层，这里以conv5为例“ net = net() lr = 0.001 conv5_params = list(map(id, net.conv5.parameters())) base_params = filter(lambda p: id(p) not in conv5_params, net.parameters...
Android部署Pytorch模型中导包问题（DuplicateClasses）
nanaouyang的博客
03-08 4843
Gradle7.0以上加载国内镜像源 如果不使用国内镜像源可能会出现下载速度过慢或下载不成功等问题，故我们使用国内的源一劳永逸解决该问题。（注意buildscript模块一定要写在plugins模块上方） buildscript { repositories { maven { allowInsecureProtocol = true url 'http://maven.aliyun.com/nexus/content/group
动手学深度学习——目标检测 SSD R-CNN Fast R-CNN Faster R-CNN Mask R-CNN
iwill323的博客
09-26 1686
目标检 SSD R-CNN Fast R-CNN Faster R-CNN Mask R-CNN
MobileNet V1模型——pytorch实现
Peach_____的博客
01-10 569
【代码】MobileNet V1模型——pytorch实现。
目标检测YOLO实战应用案例100讲-基于深度学习的无人机目标检测算法轻量化研究（下）
最新发布
qq_36130719的博客
04-28 246
本文结合ROS操作系统、软件仿真平台Gazebo、通信包MAVROS以及PX4来进 行无人机目标检测的仿真实验，如下图是PX4的软件在环(SITL)仿真的系统通信接口连接图如下图4-15所示：在仿真系统中，由Gazebo提供一个虚拟世界的仿真环境，并且提供无人机仿真模 型和虚拟的GPS、IMU等各种传感器的相关数据。
IEEE 1016-2009 -- Software Design Descriptions
02-15
1016-2009 - IEEE Standard for Information Technology--Systems Design--Software Design Descriptions
pytorch中使用MultiStepLR动态调整学习率遇到的问题（求助帖）
weixin_42632271的博客
09-23 1754
首先放上原博文： pytorch中的学习率调整函数 首先看一下原博文中通过MultiStepLR实现的部分 model = AlexNet(num_classes=2) optimizer = optim.SGD(params = model.parameters(), lr=0.05) #在指定的epoch值，如[10,15，25，30]处对学习率进行衰减，lr = lr * gamma scheduler = lr_scheduler.MultiStepLR(optimizer, milestones
使用PyTorch实现目标检测与跟踪
Warmer_Sweeter
12-02 8737
欢迎关注“小白玩转Python”，发现更多 “有趣”引言在昨天的文章中，我们介绍了如何在PyTorch中使用您自己的图像来训练图像分类器，然后使用它来进行图像识别。本文将展示如何使用预...
目标检测SSD教程（附pytorch实现）
qiao_qiao_de_feng_le的博客
02-19 7519
文章目录介绍开发环境Objective(目标)Concepts(概念)Overview（综述）Some definitions（一些定义）MultiboxSingle Shot Detector (SSD)Base Convolutions – part 1FC → Convolutional LayerBase Convolutions – part 2Auxiliary Convolution...
从零开始PyTorch项目：YOLO v3目标检测实现
jacke121的专栏
06-04 1万+
从零开始PyTorch项目：YOLO v3目标检测实现目标检测是深度学习近期发展过程中受益最多的领域。随着技术的进步，人们已经开发出了很多用于目标检测的算法，包括 YOLO、SSD、Mask RCNN 和 RetinaNet。在本教程中，我们将使用 PyTorch 实现基于 YOLO v3 的目标检测器，后者是一种快速的目标检测算法。该教程一共有五个部分，本文包含其中的前三部分。在过去几个月中，我...
解读SSD目标检测方法
docrazy5351的博客
01-07 2万+
论文链接：https://arxiv.org/pdf/1512.02325.pdf tensorflow源码链接：https://github.com/balancap/SSD-Tensorflow SSD是YOLO之后又一个引人注目的目标检测结构，它沿用了YOLO中直接回归 bbox和分类概率的方法，同时又参考了Faster R-CNN，大量使用anchor来提升识别准确度。通过把这两种
如何从头到尾的用caffe-ssd训练自己的数据集并进行目标识别
chenlufei_i的博客
05-02 1万+
caffe-ssd是一种非常适合新手的end to end 目标识别框架。也是我在学习了深度学习和目标识别理论以后第一个上手跑的程序。具体步骤如下：一 SSD的安装下载caffe，如果没有配置过可以参考：https://blog.csdn.net/baobei0112/article/details/77996369在home目录下，获取SSD的代码，下载完成后有一个caffe文件夹 1 git...
SSD详解（二）
xunan003的博客
01-17 9405
原文链接：点击打开链接 算法概述 本文提出的SSD算法是一种直接预测目标类别和bounding box的多目标检测算法。 与faster rcnn相比，该算法没有生成 proposal 的过程，这就极大提高了检测速度。针对不同大小的目标检测，传统的做法是先将图像转换成不同大小（图像金字塔），然后分别检测，最后将结果综合起来（NMS）。 而SSD算法则利用不同卷积层的 feature
暑期深度学习PyTorch进阶指南：从图像分类到目标检测与语义分割
PyTorch支持如Faster R-CNN、YOLO等流行算法，通过迁移学习，预训练模型能够适应新数据集，实现实时目标定位和识别。 语义分割则是深度学习的高阶应用，它要求对每个像素进行精确分类。在PyTorch中，可以使用FCN、...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值