模型修改之替换骨干网络（backbone）

已于 2022-06-17 09:42:58 修改
阅读量1.1w 收藏 145
点赞数 38
分类专栏： 深度学习 文章标签： 深度学习 transformer 计算机视觉
于 2022-06-16 21:50:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44715117/article/details/125322327
版权
本文介绍了如何将3D目标检测模型Group-Free 3d中的PointNet++骨干网络替换为Transformer模块Pointformer。关键在于保证输入输出的匹配，包括查看网络参数设置，确保新旧骨干网络的输入输出尺寸一致，并通过debug模式检查替换后的模型输入输出是否与原始模型匹配。替换可能带来性能提升，但也可能存在兼容性问题，需要不断调试和优化。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

前言

说实话这篇文章是没有在计划之内的，但是有读者说让我出一个使用transformer替换其他骨干网络的示例，想了想，最近好像没啥状态的，论文有点看不下去，正好整理一下自己的经验把。说实话替换骨干网络说简单也简单，说麻烦也麻烦，替换骨干网络个人感觉就是一个debug代码匹配输入输出的问题，作为菜鸡的一种能想到的改进模型方式之一，替换骨干网络也不失为一种锻炼自己看懂代码、改代码的能力，废话就到这里，下面开始文章的内容。

替换骨干网络的原则

为什么一些模型能够把其内部的模块进行替换？理由很简单，就是把里面的模块看作一个黑盒子，黑盒子有着输入和输出，那么作为网络中的一个部分，前面有着输入过来，后面也需要输出到其他模块，要想替换该模块而让模型能够运行起来，关键是输入输出的匹配问题，下面就以我自己实验过模型作为例子。
我要替换的骨干网络是3D目标检测的一个方法叫Group-Free 3d，它使用的骨干网络是PointNet++，就是下面的图中用红色框框出来的部分。
在这里插入图片描述
而我想用一个transformer的骨干网络Pointformer替换掉PointNet++。首先这里我说一下为什么我想用Pointformer来替换PointNet++，因为在Pointformer这个论文中，它说Pointformer这个骨干网络可以替换PointNet++来获得更好的性能，我观察到Grou

最低0.47元/天 解锁文章
YOLOv8 更换骨干网络之 GhostNet：轻量级目标检测的未来
一直在水些技术小文
09-20 1442
本文将深入探讨 GhostNet 的核心概念，探讨其在 YOLOv8 中的应用，并提供示例代码和实际操作指南，帮助读者更好地理解和应用这一技术。需要注意的是，示例代码是简化的，实际应用中需要根据任务和数据集进行适当的自定义。YOLOv8 是 YOLO 系列的最新版本，它引入了 GhostNet 作为其骨干网络，以实现更高的性能和更小的模型尺寸。：GhostNet 与 YOLOv8 的检测头（Detection Head）结合，将提取的特征与预测边界框的信息进行融合，以生成最终的目标检测结果。
视觉深度学习骨干网络（backbone）
最新发布
a8598671的博客
03-21 1099
Backbone 的发展经历了从 CNN 到 Transformer 的演变，目前在自动驾驶中应用的主流backbone包括VGG、resnet、vovnet、ViT和Swin Transformer等。神经网络的骨干网络是整个深度学习模型中最核心的特征提取模块，其设计和性能直接影响模型在各类任务表现，未来重点是高效计算（边缘部署、NAS搜索）、融合架构（CNN、Transformer等）、多模态融合（图像、语言、点云等）、高效学习（少样本、无监督、迁移学习等）。
backbone之路由锚点的替换
weixin_34146805的博客
09-26 178
1、需求 由于项目一开始做的时候不甚完善，所有的网页没有路由功能，导致一些搜索结果在页面跳转之后，没有被记录下来，在页面跳转之后回退，得到的是页面最原始的结果，没有指定的搜索条件。最近项目的在完善这些小的细节，所以在此记录一下。 2、操作 由于项目的所有传参都是使用 '?' 来标识的，而Backbone的路由是使用锚点 '#' 来的，为了兼容以前的做法，...
将DenseNet换成Resnet——更换深度学习骨干网络
qq_43892462的博客
05-11 1364
更换骨干网络其实挺简单的，说白了就是将两个网络的输入维数和输出维数调成一样的即可，但是想要调成一样的，要求对两个骨干网络的代码和原理都比较熟悉才行，我这里更换骨干网络花了接近2整天才完成，前一天半主要是学习resnet和densnet的代码和原理，最后半天进行代码的修改。
【YOLOv5/v7改进系列】替换骨干网络为MobileNetv3
2401_84870184的博客
05-11 1960
YOLOv5、YOLOv7-tiny、YOLOv7替换骨干网络为MobileNetv3-smell/large手把手教学。
更换骨干网
地推
10-17 873
第一种PP YOLO技术是用Resnet50-vd-dcn ConvNet骨干替换YOLOv3 Darknet53骨干。Resnet是一个更流行的骨干，它的执行优化了更多的框架，并且其参数少于Darknet53。通过交换此骨干可以看到mAP的改进，这对PP YOLO来说是一个巨大的胜利。 ...
如何替换模型的骨干网络（backbone）
qq_27353621的博客
07-06 2798
替换魔性的backbone
YOLOv8改进策略【Backbone/主干网络】| 替换骨干网络为：Swin Transformer，提高多尺度特征提取能力
Limiiiing的博客
12-16 301
本文记录的是基于SwinTransformer的YOLOv8目标检测改进方法研究。本文利用替换YOLOv8的骨干网络，的作用在于同时包含层次化特征表示和基于移位窗口的自注意力机制，克服了常见模型在视觉任务中面临的尺度差异和分辨率差异问题。本文将其应用到v8中，使其在保持推理高效的同时，具备大模型的特点。
YOLOv11改进策略【Backbone/主干网络】| 替换骨干网络为：Swin Transformer，提高多尺度特征提取能力
Limiiiing的博客
10-31 1440
本文记录的是基于SwinTransformer的YOLOv11目标检测改进方法研究。本文利用替换YOLOv11的骨干网络，的作用在于同时包含层次化特征表示和基于移位窗口的自注意力机制，克服了常见模型在视觉任务中面临的尺度差异和分辨率差异问题。本文将其应用到v11中，使其在保持推理高效的同时，具备大模型的特点。
YOLOv12改进策略【Backbone/主干网络】| 替换骨干网络为2023-CVPR LSKNet （附网络详解和完整配置步骤）
Limiiiing的博客
03-05 609
LSK module是。
目标检测算法改进系列之Backbone替换为Swin Transformer
DM_zx的博客
10-06 1436
目标检测算法改进系列之Backbone替换为Swin Transformer
IBN-Net.mxnet:IBN-Net的MXNet实现（Resnet-IBN-a，Resnext-IBN-a，Resnext-IBN-b）
03-21
IBN-Net.mxnet IBN-Net的MXNet实现（Resnet-IBN-a，Resnext-IBN-a，Resnext-IBN-b）。 （ Resnet-IBN-a 50,101,152，Resnext-IBN-a 50,101,152，Resnext-IBN-b 50,101,152 ） 这是一个实现IBN-网（RESNET-IBN-A 50101152）在论文中描述的架构提出，平罗，建平石，和晓鸥汤。 ECCV 2018接受了本文。他们凭借此IBN-Net区块赢得了WAD 2018挑战可驾驶区域赛道的第一名。 作者的pytorch实现可在GitHub的中找到。 这是一个实例批处理规范化（IBN）块的说明。 Resnet-IBN-a是根据（b）IBN-a实现的。请注意，我们的Resnet实现遵循“ ”中的“深层残留网络中的身份映射”。它与作者的pytorch版本略有不同。
主干网络篇 | YOLOv5/v7 更换主干网络之 SwinTransformer | Vision Transformer using Shifted Windows
YOLOv8项目贡献者
04-13 6207
YOLOv5/v7 更换主干网络之 SwinTransformer
更换目标检测的backbone（以Faster RCNN为例）
@bangbang的博客
06-11 7714
本博客以Faster RCNN为例，介绍如何更换目标检测的backbone。 对于更换目标检测backbone，主要难点是：如何获取分类网络中间某一个特征层的输出，在该特征层输出的基础上构建我们的目标检测模型。这里简单讲一下如何利用pytorch官方给的方法构建我们新的backbone,关于构建新的backbone，其实它的方法有很多。我们这讲一个比较简单的方法,对于该方法的前提是：torch>1.10 conda install pytorch==1.10.0 torchvision==0.11.0
YOLOV5 改进：替换backbone为ShuffleNet
Henry的博客
04-25 323
本章将会把yolov5的主干网络替换成ShuffleNet V2，这里直接粘贴代码。
0038-目标检测-YoloV3替换各种轻量级backbone
左手coding，右手cooking
01-27 2052
参考链接 YOLO-Multi-Backbones-Attention
YOLOv8 利用MobileNetV3替换Backbone
走向CTO的路上...
11-13 1123
将MobileNetV3替换YOLOv8的Backbone可以显著降低模型的推理速度和存储空间，同时保持较高的模型精度，适用于对性能和资源要求较高的移动端和嵌入式设备部署场景。MobileNetV3是一种轻量级的深度卷积神经网络架构，它通过深度可分离卷积、轻量级线性瓶颈层和高效的Squeeze-and-Excitation注意力机制等设计，在保证模型性能的前提下大幅降低了模型的计算量和参数量。
mmdetection修改backbone使用mmcls和timm已有模型
豆芽菜
06-05 1487
官方文档对更换backbone已经有了比较详细的介绍，特别是较新的版本已经支持mmcls库以及timm库中的现有分类网络，一般直接拿来修改使用即可，但这里最重要的一点就是需要保证修改后的backbone要和后面的neck结构进行进行匹配，主要是通道数方面。目标检测模型的通用结构如下图所示，如果更改backbone后导致于neck的结构不适配，将导致模型失效报错。
AI：240-YOLOv8高效涨点 |Swin Transformer的主干网络替换与优化（附代码 + 详细修改步骤 +原理介绍）
一键难忘的博客
08-15 3596
YOLOv8作为目标检测领域的最新版本，在速度和精度之间取得了良好的平衡。然而，随着计算机视觉任务的复杂性不断增加，YOLOv8的标准主干网络（Backbone）在处理高分辨率图像或多尺度目标时，可能存在一定的局限性。为了进一步提升YOLOv8的性能，我们可以引入Swin Transformer替换其主干网络，以增强模型的全局感知能力和多尺度特征提取能力。本文将详细介绍如何在YOLOv8中用Swin Transformer替换原有的Backbone，提供代码示例，并深入探讨其中的原理和效果。
替换骨干网络后模型参数量如何计算？
03-16
<think>嗯，用户想知道如何计算更换骨干网络后的模型参数量。首先，我需要回忆一下深度学习模型参数量的计算方法。通常来说，模型的参数量主要来自于各层的权重和偏置项。比如卷积层的参数量是输入通道数乘以卷积核大小，再乘以输出通道数，再加上偏置的数量。全连接层则是输入单元数乘以输出单元数加上偏置。 然后，用户提到替换骨干网络，比如把ResNet换成MobileNet或者EfficientNet。这时候，我需要考虑骨干网络的结构差异。比如ResNet有残差块，每个块里有多个卷积层，而MobileNet可能使用深度可分离卷积，这样参数会减少很多。所以替换骨干网络后，参数量变化主要取决于新旧骨干的结构差异。 接下来，计算步骤应该包括：首先确定原骨干网络的参数量，可以通过模型结构计算或者直接调用框架的函数，比如PyTorch的torchsummary。然后，同样的方法计算新骨干网络的参数量。之后，整个模型的参数量就是新骨干的参数量加上其他部分（比如分类头）的参数，假设其他部分没有变化的话。 还要注意是否有跨层参数共享的情况，比如ALBERT模型中参数共享会减少总参数量。如果替换的骨干网络有共享参数，计算时需要乘以层数。例如，每层的参数是P，有N层，共享的话总参数量就是P，而不共享则是P*N。 用户可能需要具体的公式，比如卷积层的参数量公式：$K_h \times K_w \times C_{in} \times C_{out} + C_{out}$。然后，整个骨干网络的参数量是所有层参数量的总和。替换之后，总和变化，其他部分不变的话，总参数量就是新的总和加上其他部分。 另外，用户可能需要知道如何验证计算结果，比如使用现有的库来统计参数量，或者手动计算对比。还要提醒用户注意全连接层和分类头的参数，这些可能容易被忽略，但尤其是当骨干网络输出维度改变时，分类头的参数也会变化，需要重新计算。 可能的问题包括：如果骨干网络输出特征图的尺寸或通道数改变，后续网络的输入是否匹配？比如分类层的输入维度如果依赖于骨干网络的输出，那么替换骨干后可能需要调整分类层，从而影响参数量。因此，用户需要检查整个模型的结构而不仅仅是骨干部分。 总结一下，步骤应该是：1. 确定原骨干参数量；2. 确定新骨干参数量；3. 计算其他部分参数量；4. 总和相加，注意参数共享和结构变化带来的影响。同时，提供具体的例子和验证方法会更清楚。</think>### 更换骨干网络后模型参数量的计算方法 #### 1. **参数量组成原理** 模型参数量主要由以下部分构成： - **卷积层**：$K_h \times K_w \times C_{in} \times C_{out} + C_{out}$（卷积核尺寸 $K_h \times K_w$，输入/输出通道数 $C_{in}/C_{out}$，包含偏置项） - **全连接层**：$D_{in} \times D_{out} + D_{out}$（输入/输出维度 $D_{in}/D_{out}$，含偏置） - **批归一化层**：$2 \times C$（每个通道的缩放因子和偏移量） - **注意力机制**：如多头注意力层的参数为 $3 \times d_{model} \times d_k \times h + d_{model} \times d_v$（$h$为头数，$d_k/d_v$为键值维度）[^2] #### 2. **骨干网络替换的参数量计算步骤** **步骤1：分离骨干网络参数** - 原模型总参数量 = 骨干网络参数量 + 其他模块参数量（如分类头、检测头等） - **示例**：若原模型使用ResNet-50（约25.5M参数），分类头含1个全连接层（$2048 \times 1000 + 1000 \approx 2.05M$），总参数量为 $25.5M + 2.05M = 27.55M$。 **步骤2：计算新骨干网络参数量** - 手动计算：逐层累加各层参数（公式见第1部分） - 代码验证（以PyTorch为例）： ```python from torchsummary import summary new_backbone = MobileNetV3() # 替换为实际骨干网络 summary(new_backbone, (3, 224, 224)) ``` **步骤3：组合新模型参数量** - 若仅替换骨干且其他模块未变： $$ P_{total}^{new} = P_{backbone}^{new} + (P_{total}^{old} - P_{backbone}^{old}) $$ - **注意**：若骨干输出维度改变（如ResNet输出2048维，MobileNet输出1024维），需重新计算分类头参数量： $$ P_{head}^{new} = D_{out}^{new} \times N_{class} + N_{class} $$ #### 3. **特殊情况处理** - **参数共享**：若骨干网络存在跨层共享（如ALBERT），参数量需按共享次数计算。例如某层参数为$P$，共享$N$次时总参数量仍为$P$[^2]。 - **动态结构**：对条件计算模型（如Switch Transformer），需统计激活路径的期望参数量。 #### 4. **验证方法** 1. **代码对比**： ```python # 原模型 total_params = sum(p.numel() for p in model.parameters()) # 新模型 new_model = NewBackboneWithHead() new_total_params = sum(p.numel() for p in new_model.parameters()) ``` 2. **在线工具**：使用Netron可视化模型结构并逐层检查参数。 #### 5. **示例计算** 假设原模型为ResNet-50 + 分类头： - ResNet-50参数量：25.5M - 分类头参数量：$2048 \times 1000 + 1000 = 2,049,000$ - 总参数量：27.55M 替换为EfficientNet-B3后： - EfficientNet-B3参数量：12M - 新分类头（输出维度1536）：$1536 \times 1000 + 1000 = 1,537,000$ - 总参数量：$12M + 1.537M = 13.537M$（减少约48.8%） ---
评论 11
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值