大年初一也不忘检测新框架！CBNetV2：复合主干网络的目标检测（附源代码）

最新推荐文章于 2024-03-11 19:29:26 发布
最新推荐文章于 2024-03-11 19:29:26 发布
阅读量647 收藏 3
点赞数
文章标签： 网络 计算机视觉 机器学习 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gzq0723/article/details/122767313
版权

6541c08c388ff9c0114f7b5c57938f06.gif

计算机视觉研究院专栏

作者：Edison_G

现代性能最佳的目标检测器在很大程度上依赖于主干网络，其进步通过探索更有效的网络结构带来一致的性能提升。然而，设计或搜索新的主干并在ImageNet上对其进行预训练可能需要大量的计算资源，这使得获得更好的检测性能成本很高。

ada9c8743528d9348be36a0c14186f70.png

公众号ID｜ComputerVisionGzq

学习群｜扫码在主页获取加入方式

6a11f0570aef652c936368911fd1ffb1.png

论文：

https://arxiv.org/pdf/2107.00420.pdf

1

 简要

现代性能最佳的目标检测器在很大程度上依赖于主干网络，其进步通过探索更有效的网络结构带来一致的性能提升。然而，设计或搜索新的主干并在ImageNet上对其进行预训练可能需要大量的计算资源，这使得获得更好的检测性能成本很高。

026e85d990ea8b3821609cd5adc6748b.png

今天分享中，研究者通过构建现有开源预训练主干的组合，提出了一种新的主干网络，即 CBNetV2。特别是，CBNetV2 架构将多个相同的主干分组，这些主干通过复合连接连接。研究者还为基于CBNet的检测器提出了一个更好的训练策略与辅助监督。无需额外的预训练，CBNetV2可以集成到主流检测器中，包括一级和两级检测器，以及基于Anchor和Anchor Free的检测器，并在COCO的基线上显着提高其性能3.0%以上。此外，实验提供了强有力的证据，表明复合主干比预训练的更广泛和更深的网络更高效和资源友好，包括基于手动和基于NAS的网络，以及基于CNN和基于Transformer。

2

 背景

5b9f62865d497d1aa8e9aa922851e7bb.png

如上图所示，研究者的解决方案名为Composite Backbone Network V2 (CBNetV2)，将多个相同的主干网络组合在一起。具体而言，并行主干网络（称为辅助主干和引导主干）通过复合连接连接。在上图中从左到右，辅助主干中每个阶段的输出流向其后续主干的并行和较低级别的阶段。最后，将主干的特征馈送到neck和检测头，用于边界框回归和分类。与简单的网络深化或拓宽相反，CBNetV2 整合了多个主干网络的高低层特征，逐渐扩大感受野以更高效地进行目标检测。

3

 新框架

9e173f43f0147d292794f66a973fb129.png

  • Same Level Composition (SLC)

一种直观而简单的复合风格是融合来自主干同一阶段的输出特征。

  • Adjacent Higher-Level Composition (AHLC)

受特征金字塔网络的启发，自上而下的pathway引入了空间上更粗糙但语义上更强大的高级特征，以增强自下而上pathway中的低级特征。在之前的CBNet中，研究者进行了相邻的高级组合（AHLC），将前一个主干的相邻更高级别阶段的输出馈送到后续的主干。

  • Adjacent Lower-Level Composition (ALLC)

与AHLC不同，研究者引入了一种自下而上的pathway，将前一个主干的相邻低级阶段的输出提供给后续主干。

  • Dense Higher-Level Composition (DHLC)

在DenseNet中，每一层都连接到所有后续层以构建综合特征。受此启发，研究者在CBNet架构中利用密集复合连接。

  • Full-connected Composition (FCC)

与DHLC不同，研究者将辅助主干网络的所有阶段的特征组合起来，并将它们馈送到主干中的每个阶段。如上图e所示，在比较DHLC的情况下，在低层次的情况下添加连接。

1e5d3353dc6266fb9989fb11badaa1a1.png

新提出的CBNet架构（K = 2）与RCNN的展开架构之间的比较。

5363a7bb5d765d3d3471cfe767de2625.png

CBNetV2的一个例子如上图b所示。除了使用主干特征训练检测头1的原始损失外，另一个检测头2将辅助主干特征作为输入来产生辅助监督。请注意，检测头1和检测头2是权重共享。辅助监督有助于优化学习过程，而开始的主干原始损失承担了最多的责任。 研究者增加权重来平衡助理监督，其中总损失表示为：

4c3d19d6406812f9fb17aaa997a8d293.png

4

 实验

83d319f0f2ee1c86d180302b011a41a6.png

新提出的方法与最先进的检测器在COCO目标检测和实例分割方面的比较结果。

7213fcf62dc13d3ec519d3c4d389268c.png

Visualization of class activation APping, using ResNet50 and Dual-ResNet50 as backbone. The baseline detector is Faster R-CNN ResNet50 with 800 × 500 input size. For each backbone, we visualize the stage 2 viewed in color.

915b348773d4ebf5f963d04d7786bb40.png

© THE END 

转载请联系本公众号获得授权

8b597235f52f3cc862296863ed97a8d2.gif

计算机视觉研究院学习群等你加入！

计算机视觉研究院主要涉及深度学习领域，主要致力于人脸检测、人脸识别，多目标检测、目标跟踪、图像分割等研究方向。研究院接下来会不断分享最新的论文算法新框架，我们这次改革不同点就是，我们要着重”研究“。之后我们会针对相应领域分享实践过程，让大家真正体会摆脱理论的真实场景，培养爱动手编程爱动脑思考的习惯！

dc0689708e0b8dc09b81c0d4c4fae202.png

扫码关注

计算机视觉研究院

公众号ID｜ComputerVisionGzq

学习群｜扫码在主页获取加入方式

源代码｜关注回复“CBN2”获取

 往期推荐 

🔗

计算机视觉研究院
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
【第15篇】CBNetV2
AI浩
10-02 631
CBNetV2: A Composite Backbone Network Architecture for Object Detection 代码：VDIGPKU/CBNetV2 (github.com) 论文地址：2107.00420.pdf (arxiv.org) 摘要 现代性能最好的物体检测器在很大程度上依赖于骨干网络，其进步通过探索更有效的网络结构带来了一致的性能提升。在本文中，我们提出了一种新颖且灵活的主干框架，即 CBNetV2，以在预训练微调范式下使用现有的开源预训练主干构建高性能检测器。特
CBNetV2简述
今天打卡Leetcode了吗
11-05 1151
引言   深度卷积网络的蓬勃发展使目标检测取得了很大的进展，一般来说，在基于神经网络的检测器中，骨干网络用于提取检测目标的基本特征，通常最初设计用于图像分类，并在ImageNet数据集上进行预训练，从直观上看，骨干网络提取的代表性特征越多，其检测器的性能越好，简单地说，一个更强大的骨干带来更好的检测性能。从AlexNet开始，主流探测器已经利用了更深更宽的主干，如VGG， ResNet， DenseNet， ResNeXt（《Aggregated residual transformations for d
CBNetV2: A Composite Backbone Network Architecture for Object Detection论文阅读
Q1u1NG的博客
07-08 2323
CBNetV2: A Composite Backbone Network Architecture for Object Detection论文阅读介绍方法CBNetV2融合方式对Assistant的监督实验与SOTA的比较在主流backbone架构上的通用性与更宽更深的网络比较与可变形卷积的兼容在主流检测器上的模型适用性在Swin Transformer上的模型适用性消融实验 paper：https://arxiv.org/pdf/2107.00420v2.pdf code：https://github
CBNet v2 论文解读
00000cj的博客
03-11 582
本文在CBNet v1的基础上，提出了一种新的辅助训练方法、一个更好的连接策略以及一个剪枝策略，综合这些得到了一个新的骨干网络CBNet v2。除了取得了更好的性能表现，在泛化性和兼容性（和模型集成以及特征增强网络如DCN和HRNet的兼容）都得到了提升。
CBNetV2：复合骨干架构
qq_43534932的博客
05-01 421
前言 今天我们基于CBNetV2: A Composite Backbone Network Architecture for Object Detection这篇文章来复现其中的复合骨干部分。类似于CBNetV2类的网络相当于爸妈模型变宽了，重复利用特征，对目标检测有一定的优势。 模型结构 模型结构如图所示，方框中的我们就先不进行复现了，主要复现这种复合结构。 这种复合结构有两种一种是Backbone 1，另一种Backbone K 代码实现 在Backbone 1中无输入递归结构，输出分别是x2到x5
又更新！CBNetV2：复合主干网络的目标检测架构（附源代码）
gzq0723的博客
07-07 1901
计算机视觉研究院专栏作者：Edison_G现代性能最佳的目标检测器在很大程度上依赖于主干网络，其进步通过探索更有效的网络结构带来一致的性能提升。然而，设计或搜索新的主干并在ImageNet...
基于YoloV4的绝缘子目标检测程序源代码+数据集+训练模型（人工智能课程设计作业）.zip
06-08
基于YoloV4的绝缘子目标检测程序源代码+数据集+训练模型，人工智能课程设计作业。文件结构 . │ predict.py # 对图片进行预测 │ train.py # 训练模型 │ voc_annotation.py # 对VOC数据集处理导出索引 │ ...
基于YoloV4的绝缘子目标检测程序源代码+数据集+训练模型python源码
最新发布
04-22
基于YoloV4的绝缘子目标检测程序源代码+数据集+训练模型，人工智能课程设计作业。文件结构 . │ predict.py # 对图片进行预测 │ train.py # 训练模型 │ voc_annotation.py # 对VOC数据集处理导出索引 │ yolo.py #...
基于megengine的FCOS的目标检测模型，主干网络ResNext101
10-17
基于megengine的FCOS的目标检测模型，主干网络ResNext101
基于megengine的FCOS的目标检测模型，主干网络ResNet101
10-17
基于megengine的FCOS的目标检测模型，主干网络ResNet101
基于megengine的FCOS的目标检测模型，主干网络ResNet50
10-17
基于megengine的FCOS的目标检测模型，主干网络ResNet34
CBNetV2：北大提出的复合主干网络，COCO成绩60.1%
jacke121的专栏
10-02 2502
CBNetV2: A Composite Backbone Network Architecture for Object Detection 代码：VDIGPKU/CBNetV2 (github.com) 论文地址：2107.00420.pdf (arxiv.org) 摘要 现代性能最好的物体检测器在很大程度上依赖于骨干网络，其进步通过探索更有效的网络结构带来了一致的性能提升。在本文中，我们提出了一种新颖且灵活的主干框架，即 CBNetV2，以在预训练微调范式下使用现有的开源预训练主干构建高性能检
目标检测-YOLO V3 主干网络结构
qq_35912099的博客
07-04 273
Darknet-53 特征提取 13 x 13 每个网格点3个先验框 26 x 26 每个网格点3个先验框 52 x 52 每个网格点3个先验框 13 13 75 -> 13 13 3 20(类别概率)1(是否有物体) 4(先验框坐标) 上采样是图像维度的堆叠与Resnet的残差图像融合是不同的。其它操作和上一层的操作一样之后 完成分类和先验框的矫正。 ...
CBNetV2:一种用于目标检测的复合骨干网络体系结构
jyjy0608的博客
04-05 1303
现代性能最好的对象检测器在很大程度上依赖于骨干网络，骨干网络的进步通过探索更有效的网络结构带来了一致的性能增益。在本文中，我们提出了一种新颖而灵活的主干框架，即CBNetV2，以在预训练微调范式下使用现有的开源预训练主干来构建高性能检测器。特别是，CBNetV2体系结构将多个相同的主干分组，这些主干通过复合连接进行连接。具体而言，它集成了多个骨干网络的高级别和低级别特征，并逐渐扩展感受野，以更有效地执行对象检测。我们还提出了一种更好的训练策略，对基于CBNet的检测器进行辅助监督。
深度学习——SSD目标检测网络源码学习之主干网络
weixin_42465713的博客
12-04 799
本文主要涉及到主干网络的一些参数原理以及anchor和正负样本标签的生成方式 SSDNet参数 default_params = SSDParams( img_shape=(300, 300), num_classes=21, no_annotation_label=21, feat_layers=['block4', 'blo...
目标检测算法 CNN主干网络
qq_17278169的博客
12-26 4265
目标检测算法 CNN主干网络 在深度学习目标检测算法中很重要的一个部分就是特征提取,用来提取特征的就是CNN中的backbone，Backbone的复杂度很大程度上决定了目标检测算法的耗时。 例如我们常说的SSD算法就是Backbone为VGG16的SSD，后来由于工程化场景限制，衍生出一系列兼顾适应场景精度和速度的网络。例如MobileNet-SSD，Resnet-SSD，RefineDet-...
目标检测————主干网络是否应该选用DenseNet（提问）
墨门
08-27 860
1 前言 今天在学习机器学习~ 第一次在听赵老师，讲到DenseNet时，我就感觉到很神奇， 感觉这种网络似乎用layer实现了一种类似于神经元层之间“全连接”的一种结构，让我感觉到很神奇， 而且这种网络结构在直觉上跟泰勒公式十分类似， 我感觉他们之间肯定是有关联的， 不过后来赵老师又说到，DenseNet用的很少，而且“计算量比较大”， 这让我感到很失望，因为在我心目中，Den...
《南溪的目标检测学习笔记》——主干网络backbone设计的学习笔记
墨门
03-27 550
1 南溪推荐的主干网络——Xception 我觉得现在最好的backbone就是Xception，从PaddlePaddle给出的排行榜上也可以看出来， 以下是排行榜的截图（2020年3月27日）： 2 主干网络的设计原则 2.1使用深度可分离卷积 较好的应用就是Xception，Xception在PaddlePaddle的排行榜中也展现了很好的结果； ...
ECCV 2022 | 何恺明团队重磅开源ViTDet：目标检测的视觉Transformer主干网络
阿木寺的博客
07-14 2398
点击下方卡片，关注“CVer”公众号AI/CV重磅干货，第一时间送达点击进入—>CV微信技术交流群转载自：机器之心 | 编辑：张倩、小舟做目标检测就一定需要 FPN 吗？来自 Facebook AI Research 的 Yanghao Li、何恺明等研究者在 arXiv 上上传了一篇论文，证明了将普通的、非分层的视觉 Transformer 作为主干网络进行目...
目标检测算法主干网络
03-29
目标检测算法主干网络是指在目标检测任务中用于提取图像特征的网络结构。主干网络通常由多个卷积层和池化层组成，用于逐层提取图像的高级语义特征。以下是几种常见的目标检测算法主干网络： 1. VGGNet：VGGNet是一种经典的卷积神经网络，由多个卷积层和池化层组成。它具有较深的网络结构和较小的卷积核尺寸，能够提取丰富的图像特征。 2. ResNet：ResNet是一种深度残差网络，通过引入残差连接解决了深层网络训练过程中的梯度消失问题。ResNet主干网络通常采用残差块的结构，能够有效地提取图像中的细节信息。 3. MobileNet：MobileNet是一种轻量级的卷积神经网络，通过使用深度可分离卷积等技术，在保持较高准确率的同时减少了参数量和计算量。MobileNet主干网络适合在资源受限的设备上进行目标检测任务。 4. EfficientNet：EfficientNet是一种基于自动化网络缩放方法的高效卷积神经网络。它通过在网络深度、宽度和分辨率上进行均衡的缩放，实现了更好的性能和计算效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

计算机视觉研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值