目标检测论文阅读笔记：《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》

最新推荐文章于 2022-04-29 09:54:27 发布
最新推荐文章于 2022-04-29 09:54:27 发布
阅读量457 收藏 1
点赞数
分类专栏： 目标检测 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42075898/article/details/106817475
版权
本文提出ThunderNet，一种基于ShuffleNetV2的轻量级目标检测网络，通过CEM和SAM模块提升特征融合与注意力机制，实现高效目标检测。采用5x5卷积替代3x3卷积，优化网络结构，同时增加浅层特征通道数，保持轻量化特性。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

1 概述

  • 本文基于ShuffleNetV2提出了一个轻量目标检测网络，称为ThunderNet，主要有两个创新点：①CEM(Context Enhancement Module)，与FPN类似，用于融合浅层特征和深层特征；②SAM(Spatial Attention Module)，用于增强目标特征
  • 轻量化体现在两方面：①将ShuffleNetV2中3x3卷积更换为5x5卷积，在增大感受野使特征包含更多空间信息的同时降低参数量；②移除conv5的同时在之前的stage中增加channel数，这在不增加参数量的情况下可使浅层特征增多。

2 网络框架

2.1 整体框架

在这里插入图片描述

2.2 CEM模块

在这里插入图片描述

  • 类似FPN，其意义在于融合多个尺度信息，使生成的特征包含更多的空间信息

2.3 SAM模块

在这里插入图片描述

  • RPN用于分类前景背景，其中背景特征会被抑制，因此论文中提出将RPN特征作为监督信号用来抑制CEM特征中的背景部分，增强CEM特征中的前景部分。
  • 该结构的另外一个优点是反向传播过程中这里也会产生梯度，也算是RPN结构参数更新时的监督信号

3 实验

  • 算法对比

在这里插入图片描述

  • 不同分辨率输入图片

在这里插入图片描述

  • 不同backbone

在这里插入图片描述

  • 消融实验
    在这里插入图片描述
  • SAM模块效果

在这里插入图片描述

4 总结

  • CEM中增大特征感受野的思路不错，也可以使用空洞卷积等，可以借鉴
  • 将RPN特征作为监督信号引入很新颖，值得学习
【论文阅读笔记】ThunderNet: Towards Real-time Generic Object Detection
梁瑛平的博客
01-31 727
《ThunderNet: Towards Real-time Generic Object Detection》（一）论文地址：（二）解决的问题：（三）ThunderNet 的核心思想：（四）Backbone Part——SNet：1. Receptive Field（感受野）：2. Early-stage and Late-stage Features：3. SNet 的结构：（五）上下文增强模...
深度学习系列资料总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
07-17 2万+
说明本系列深度学习资料集合包含机器学习、深度学习等各系列教程，主要以计算机视觉资料为主，包括图像识别、分类、检测、分割等，内容参考Github及网络资源，仅供个人学习。深度学习定义一般是指通过训练多层网络结构对未知数据进行分类或回归深度学习分类有监督学习方法——深度前馈网络、卷积神经网络、循环神经网络等；无监督学习方法——深度信念网、深度玻尔兹曼机，深度自编码器等。手写机器学习笔记github机器学习算法公式推导以及numpy实现github人工智能相关术语link。..................
ThunderNet Towards Real-time Generic Object Detection
03-31
Real-time generic object detection on mobile platforms is a crucial but challenging computer vision task. However, previous CNN-based detectors suffer from enormous computational cost, which hinders them from real-time inference in computation-constrained scenarios. In this paper, we investigate the effectiveness of two-stage detectors in real-time generic detection and propose a lightweight two-stage detector named ThunderNet. In the backbone part, we analyze the drawbacks in previous lightweight backbones and present a lightweight backbone designed for object detection. In the detection part, we exploit an extremely efficient RPN and detection head design. To generate more discriminative feature representation, we design two efficient architecture blocks, Context EnhancementModule and Spatial Attention Module. At last, we investigate the balance between the input resolution, the backbone, and the detection head. Compared with lightweight one-stage detectors, ThunderNet achieves superior performance with only 40% of the computational cost on PASCALVOC and COCO benchmarks. Without bells and whistles, our model runs at 24.1 fps on an ARM-based device. To the best of our knowledge, this is the first real-time detector reported on ARM platforms. Code will be released for paper reproduction.
【ThunderNet】《ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices》
bryant_meng
02-29 650
ICCV-2019 文章目录1 Background and Motivation2 Advantages / Contributions3 Method4 Experiments4.1 Datasets5 Conclusion（own） / Future work 1 Background and Motivation 2 Advantages / Contributions 3 Met...
ThunderNet: Towards Real-time Generic Object Detection on Mobile Devices
qq_52302919的博客
04-29 1167
本文提出了一种轻量级的两级检测器ThunderNet。在主干部分，提出了一种用于目标检测的轻量级主干。在检测部分，开发了一种非常高效的RPN和检测头设计。为了生成更具区分性的特征表示，设计了两个高效的结构模块：上下文增强模块和空间注意模块。最后，作者研究了输入分辨率、主干和检测头之间的平衡。得益于高效的主干和检测部件设计，ThunderNet超越了以前的轻型单级检测器。
A002-185-1203
GONGZIXUY的博客
01-04 4257
目录 一、查词文档 3 1、第一次查词 3 1.1需求基线（Requirements baseline） 3 1.2 概念聚类(Conceptual clustering) 7 1.3图形元素（Graphic elements） 10 1.4状态机（State machine） 13 1.5章节回顾（Chapter Review） 15 1.6对象流（Object Flow） 31 1.7需求工程师（Requirements Engineer） 33 1.8实体关系模型（Entity-relationshi
ThunderNet: Towards Real-time Generic Object Detection（论文精度）
qq_42738654的博客
01-03 259
摘要 本文提出了第一个在arm上运行的实时的单线程速度最快的模型结构，分析之前lightweight backbones 的缺点，提出了一个轻量级的backbone，充分使用RPN，设计SAM和CEMblock减少计算量，产生更多discriminative feature，最后寻求resolution，backbone与head之间的平衡。 ——————————————————————————...
目标检测论文：ThunderNet: Towards Real-time Generic Object Detection（arxiv2019）
mingo_敏
03-31 6170
ThunderNet：第一个实现了在ARM平台上的实时检测器和最快的单线程速度。 论文地址：https://arxiv.org/pdf/1903.11752.pdf 本文创新点颇多，而且很辅以充实的实验分析和对比。首先是整体架构如下图，整体的网络结构分为两部分：Backbone部分和Detection部分。网络的骨干部分为SNet，SNet是基于ShuffleNetV2进行修改得到的。 网络...
ThunderNet: Towards Real-time Generic Object Detection论文学习
calvinpaean的博客
11-11 318
Abstract 在移动端进行实时、通用的目标检测是非常重要，也非常艰巨的计算机视觉任务。但是，之前的基于CNN的检测器都要承受巨大的算力支出，使得它们无法在算力有限的场景中进行实时推理。在这篇论文中，作者探索了实时通用的双阶段检测器的有效性，提出了一个轻量级的双阶段检测器，称作 ThunderNet。在主干网络部分，作者分析了之前轻量级主干网络的缺陷，提出了一个用于目标检测的轻量级主干网络。在检...
LCDet Low-Complexity Fully-Convolutional Neural Networks for Object Detection in Embedded Systems
TJMtaotao的博客，高校计算机教师
11-29 1217
Subarna Tripathi UC San Diego∗ stripathi@ucsd.edu Byeongkeun Kang UC San Diego bkkang@ucsd.edu V asudev Bhaskaran Qualcomm Inc. vasudevb@qti.qualcomm.com Truong Nguyen UC San Diego tqn001@eng.ucsd.edu...
【目标检测】|ShuffleNet
qq_35608277的博客
06-01 393
分组卷积（Group Convolution中的channel shuffle） 子单元
目标检测论文：ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design及其PyTorch实现
mingo_敏
07-22 983
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 论文链接：https://arxiv.org/pdf/1807.11164.pdf PyTorch：https://github.com/shanglianlm0525/Lightweight-network ShuffleNet V2 unit Sh...
面捕：《Real-time Facial Animation on Mobile Devices》
Mingx9527
04-09 3806
《Real-time Facial Animation on Mobile Devices》 作者：Yanlin Weng, Chen Cao, Qiming Hou, Kun Zhou 来源：浙大 文章目录0 Abstract1 Introduction2 Facial Motion Regression3 Handling Lighting Changes4 Experimental Resu...
ThunderNet: Towards Real-time Generic Object Detection论文阅读
donkey_1993的博客
04-10 3800
论文下载地址：https://arxiv.org/pdf/1903.11752.pdf 代码地址：等待开源，开源会第一时间发出来。 论文摘要： 目标检测算法在移动平台仍然是一个挑战。基于CNN的检测算法由于计算量很大很难在移动平台达到实时检测的要求。本论文中作者提出了实时检测的轻量级的two-stage算法。在基础网络部分，作者提出了一个轻量级的基础网络。在检测部分，作者...
ShuffleNet模型解读
h__ang的博客
03-16 2248
原文链接：：https://arxiv.org/abs/1707.01083 Abstract 论文提出了一种计算效率极高的卷积神经网络结构——ShuffleNet，它是专门为计算能力有限的移动平台设计的。这个新结构用来两个新操作——逐渐群卷积(pointwise group convulution)和通道混洗(channel shuffle)在保障精确率损失不大的同时大大减少了计算成本。基于Im...
BN(Batch Normalization) 原理与使用过程详解
热门推荐
donkey_1993的博客
08-20 8万+
论文名字：Batch Normalization: Accelerating Deep Network Training by  Reducing Internal Covariate Shift 论文地址：https://arxiv.org/abs/1502.03167       BN被广泛应用于深度学习的各个地方，由于在实习过程中需要修改网络，修改的网络在训练过程中无法收敛，就添加了BN...
轻量级实时目标检测网络--ThunderNet：轻量级实时检测网络
yychentracy的博客
06-21 7129
网络的整体结构 网络的整体结构包括，backbone部分和detection 部分，骨干网络是SNet，这个网络i是基于shuffleNetV2进行修改得到的。网络的检测部分，利用了压缩的RPN网络，修改Light-Head R-CNN网络提高效率，CEM整合局部和全局特征增强网络特征的表达能力，并提出了SAM空间注意力机制，引入来自RPN的前后景信息用以优化特征分布。 二：backbone部分...
目标检测论文：ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices及其PyTorch实现
mingo_敏
07-22 748
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 论文链接：https://arxiv.org/pdf/1707.01083.pdf PyTorch：https://github.com/shanglianlm0525/Lightweight-network import torch...
faster r-cnn: towards real-time object detection with region proposal networks
最新发布
06-28
### 回答1： Faster R-CNN是一种基于区域建议网络（Region Proposal Networks，RPN）的物体检测算法，旨在实现实时物体检测。它通过预测每个区域是否含有物体来生成候选框，并使用卷积神经网络（CNN）来确定候选框中的物体类别。Faster R-CNN在提高检测精度的同时，也显著提高了检测速度。 ### 回答2： 在计算机视觉领域中，目标检测一直是热门研究的方向之一。近年来，基于深度学习的目标检测方法已经取得了显著的进展，并且在许多实际应用中得到了广泛的应用。其中，Faster R-CNN 是一种基于区域建议网络（Region Proposal Networks，RPN）的目标检测方法，在检测准确率和速度之间取得了很好的平衡，能够实现实时目标检测。 Faster R-CNN 的基本框架由两个模块组成：区域建议网络（RPN）和检测模块。RPN 主要负责生成候选目标框，而检测模块则利用这些候选框完成目标检测任务。具体来说，RPN 首先在原始图像上以多个尺度的滑动窗口为基础，使用卷积网络获取特征图。然后，在特征图上应用一个小型网络来预测每个位置是否存在目标，以及每个位置的目标边界框的坐标偏移量。最终，RPN 根据预测得分和位置偏移量来选择一部分具有潜在对象的区域，然后将这些区域作为候选框送入检测模块。 检测模块的主要任务是使用候选框来检测图像中的目标类别和位置。具体来说，该模块首先通过将每个候选框映射回原始图像并使用 RoI Pooling 算法来获取固定大小的特征向量。然后，使用全连接神经网络对这些特征向量进行分类和回归，以获得每个框的目标类别和精确位置。 相比于传统的目标检测方法，Faster R-CNN 具有以下优点：首先，通过使用 RPN 可以自动生成候选框，避免了手动设计和选择的过程；其次，通过共享卷积网络可以大大减少计算量，提高效率；最后，Faster R-CNN 在准确率和速度之间取得了很好的平衡，可以实现实时目标检测。 总之，Faster R-CNN 是一种高效、准确的目标检测方法，是深度学习在计算机视觉领域中的重要应用之一。在未来，随着计算机视觉技术的进一步发展，Faster R-CNN 这类基于深度学习的目标检测方法将会得到更广泛的应用。 ### 回答3： Faster R-CNN是一种结合了深度学习和传统目标检测算法的新型目标检测方法，旨在提高目标检测速度和准确率。Faster R-CNN采用了Region Proposal Network（RPN）来生成候选区域，并通过R-CNN网络对候选区域进行分类和定位。 RPN是一种全卷积神经网络，用于在图像中生成潜在的候选区域。RPN通常在卷积特征图上滑动，对每个位置预测k个候选区域和其对应的置信度得分。这样，对于输入图像，在不同大小和宽高比的Anchor上预测候选框，可以在计算上更有效率。 R-CNN网络利用卷积特征图作为输入，对RPN生成的候选区域进行分类和精确定位。与以前的目标检测方法相比，Faster R-CNN使用了共享卷积特征，使得整个检测网络可以端到端地进行训练和优化，缩短了训练时间，同时也更便于理解和改进。 Faster R-CNN不仅具有较高的准确性，还具有较快的检测速度。在各种基准测试中，Faster R-CNN与其他目标检测算法相比，都取得了优异的性能表现。总之，Faster R-CNN将目标检测引入了一个新的阶段，为实时目标检测提供了一个良好的基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值