RT-DETR改进策略【Backbone/主干网络】| ICLR-2023 替换骨干网络为：RevCol 一种新型神经网络设计范式

已于 2025-03-04 13:38:50 修改
阅读量583 收藏 1
点赞数
CC 4.0 BY-SA版权
分类专栏： RT-DETR改进专栏 文章标签： 深度学习 目标检测 RT-DETR 计算机视觉
于 2024-12-04 09:05:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/144213674

一、本文介绍

本文记录的是基于RevCol的RT-DETR目标检测改进方法研究。RevCol是一种新型神经网络设计范式，它由多个子网（列）及多级可逆连接构成，正向传播时特征逐渐解缠结且保持信息。可逆变换借鉴可逆神经网络思想，设计多级可逆单元用于解决模型对特征图形状的限制以及与信息瓶颈原则的冲突。本文将其应用到RT-DETR中，并配置了原论文中的revcol_tiny、revcol_small、revcol_base、 revcol_large和revcol_xlarge五种不同大小的模型，以适应不同的需求。

专栏目录：RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：RT-DETR改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

文章目录

二、RevCol模型设计

2.1出发点

  • 信息瓶颈原则的局限：传统监督学习网络遵循信息瓶颈原则（IB），如图所示，靠近输入的层包含更多低级信息，靠近输出的层富含语义信息，即与目标无关的信息在逐层传播中逐渐被压缩。但这种方式可能导致下游任务性能不佳，尤其当学习到的特征过度压缩或语义信息与目标任务无关，且源任务和目标任务存在领域差距时。

在这里插入图片描述

  • 解缠结特征学习的需求：提出构建网络学习解缠结表示，不同于IB学习，解缠结特征学习旨在将任务相关概念或语义分别嵌入到几个解耦维度，同时保持整个特征向量大致与输入有相同信息量，类似于生物细胞机制。

在计算机视觉任务中，学习解缠结特征是合理的，例如在Imag

了解本专栏 订阅专栏 解锁全文
YOLOv8v10改进 | 主干替换篇 | YOLOv10 更换主干Backbone之MobileNetV3(轻量化主干网络结构--在移动分类、检测和分割任务上的表现很好，快拿去跑实验吧)
Ai缝合怪、助力小伙伴高效发论文
09-09 725
我们提出了基于互补搜索技术以及新颖架构设计组合的下一代 MobileNets。MobileNetV3 通过硬件感知网络架构搜索 （NAS） 与 NetAdapt 算法相结合，针对手机 CPU 进行调优，然后通过新颖的架构进步进行改进。本文开始探索自动搜索算法和网络设计如何协同工作，以利用互补方法提高整体技术水平。通过此过程，我们创建了两个新的发布 MobileNet 模型：MobileNetV3-Large 和 MobileNetV3-Small，它们针对高资源和低资源用例。
YOLOv11改进策略【卷积层】| ICCV-2023 LSK大核选择模块 包含二次独家创新
Limiiiing的博客
10-16 940
LSK module是。
RT-DETR网络结构(Encoder)
最新发布
ice
09-01 499
本文详细解析了RT-DETR（Real-Time Detection Transformer）的网络结构。RT-DETL结合了CNN和Transformer的优势，使用CNN构建Encoder保证速度，Transformer构建Decoder提升上下文关联能力。网络分为Backbone（HGNet）、Neck（AIFI和RepC3）和Head三部分。Backbone采用HG_Stem、HG_Block和DW_CB模块进行特征提取；Neck通过AIFI实现注意力机制的特征交互，RepC3利用结构重参数化提升推
YOLOv11改进策略【Backbone/主干网络】| ICLR-2023 替换骨干网络为：RevCol 一种新型神经网络设计范式
Limiiiing的博客
11-02 611
本文记录的是基于RevCol的YOLOv11目标检测改进方法研究。RevCol是一种新型神经网络设计范式，它由多个子网（列）及多级可逆连接构成，正向传播时特征逐渐解缠结且。可逆变换借鉴可逆神经网络思想，设计多级可逆单元用于解决模型对特征图形状的限制以及与信息瓶颈原则的冲突。本文将其应用到v11中，并配置了原论文中的和五种不同大小的模型，以适应不同的需求。
YOLOv8/YOLOv7/YOLOv5/YOLOv4/Faster-rcnn系列算法改进【NO.83】将主干特征提取网络Backbone改为RevCol
m0_70388905的博客
12-11 593
将主干特征提取网络改为新的神经网络设计范式可逆柱网络（RevCol）
多个 ConvNeXt 模型并行？详解RevCol（ICLR 2023）
CV_Autobot的博客
09-18 1139
作者| 科技猛兽 编辑| 极市平台点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群本文只做学术分享，如有侵权，联系删文导读将解耦学习（disentangled feature learning）的思想引入模型设计中，提出以 reversible column 为单元来传递信息，既保证特征解耦，同时信息在网络中的传递不受到损失。本...
RT-DETR算法改进：超多种主干网络改进，包括CNN和Transformer多种核心网络结构
包括YOLOv5、YOLOv7、YOLOv8等模型改进
11-13 1229
RT-DETR算法改进｜超多种Backbone、CNN和Transformer核心网络结构合集
百度 RT-DETR 算法原理解析 | 超越YOLO的目标检测新高度？
YOLOv8项目贡献者
09-22 1万+
详解百度RT-DETR
RT-DETR改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-03 1万+
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-4。项目介绍在大家购买专栏后，加入学习
即插即用篇 | YOLOv8 引入 MogaBlock | 多阶门控聚合网络 | ICLR 2024
YOLOv8项目贡献者
10-23 877
即插即用篇 | YOLOv8 引入 MogaBlock | 多阶门控聚合网络 | ICLR 2024
YOLOv11改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
热门推荐
Limiiiing的博客
10-11 4万+
如今各种网络模型更新迭代越来越快，计算机视觉相关的文章也越来越多，多到一些普通，通用的改进点无法达到发表的要求。本专栏正是解决这个问题！如何寻找创新点？为什么要使用这个模块？如何才能提升模型的精度？这是贯穿我们研究始终的问题。创新点在这个专栏中我已经整理好了，这已经省去了大部分时间，但是当我们使用这些新的模块去优化已有的模型，如何才能提升模型的精度，才是我们要达到的最终目标。当然我们可以使用传统的A+B+C的方法去堆积模块，然后是进行大量的实验去排列组合以实现最终的精度提升，这无可厚非。
YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
Limiiiing的博客
12-24 8726
1️⃣本专栏已更新150多种不同的改进方法，所使用并改进的每一个模块均包含详细的模块分析、原理讲解、个人总结、多种改进方式以及完整的修改流程，所有改进100%可直接运行。2️⃣所有改进点均为近三年顶会，顶刊提出的先进算法，将其融入到中，紧跟学术热点，适应不同的任务场景。3️⃣团队内发表数篇SCI论文，熟悉完整的发表流程，订阅专栏即可进群享受模型训练、模型改进、论文写作、投稿选刊，从入门到论文的各种答疑内容。4️⃣专栏内容会持续更新，最近更新时间：2024-12-24。项目介绍在大家购买专栏后，加入学
【基于Transformer和可逆神经网络】
weixin_43690932的博客
12-22 4036
仅供自己参考
目标检测算法——YOLOv5/YOLOv7之结合CA注意力机制
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
04-09 1万+
将CA注意力模块嵌入到YOLOv5网络中，强化网络对方向和位置等信息的敏感度。
【详细版】DETR系列之RT-DETR（2024 CVPR）
朴实无华的研究生活
03-12 4420
本文提出了一种名为RT-DETR的实时端到端目标检测器，解决了现有实时检测器在速度和精度上的问题。RT-DETR通过设计高效的混合编码器处理多尺度特征，并引入IoU感知查询选择来提高性能。实验结果显示，RT-DETR-L在COCO验证集上达到53.0%的平均精度(AP)，并在T4 GPU上达到114帧每秒(FPS)，而RT-DETR-X则达到54.8% AP和74 FPS，优于当前最先进的YOLO检测器。此外，RT-DETR-R50在精度和FPS方面也显著超越了其他同类检测器。
YOLOv9最新改进系列：超越VIT！重新思考CNN大核注意力设计,显著提升小目标检测性能！
B站 Ai学术叫叫兽的文案地
04-11 2394
大型可分离核注意力（LSKA）模块的视觉注意力网络（VAN）已被证明在各种基于视觉的任务上提供了卓越的性能，超过了视觉转换器（ViTs）。然而，这些LSKA模块中的逐深度卷积层随着卷积核尺寸的增加，计算和内存占用呈二次增长。为了缓解这些问题，并使VAN的注意力模块能够使用极大的卷积核，我们提出了一种大型可分离核注意力模块，称为LSKA。LSKA将深度卷积层的2D卷积核分解为级联的水平1D和垂直1D内核。与标准LKA设计不同，提出的分解使得可以直接使用注意力模块中的深度卷积层的大内核，而不需要任何额外的块。
可逆神经网络（Invertible Neural Networks）详细解析：让神经网络更加轻量化
Paper weekly
04-05 1万+
©作者 |初识CV单位 |海康威视研究方向 |计算机视觉前言本文以可逆残差网络（The Reversible Residual Network: Backpropagation Without Storing Activations）作为基础进行分析。为什么要用可逆网络呢？因为编码和解码使用相同的参数，所以 model 是轻量级的。可逆的降噪网络 InvDN 只有 ...
YOLOv11改进策略【Backbone/主干网络】| 替换骨干网络为：Swin Transformer，提高多尺度特征提取能力
Limiiiing的博客
10-31 2257
本文记录的是基于SwinTransformer的YOLOv11目标检测改进方法研究。本文利用替换YOLOv11的骨干网络，的作用在于同时包含层次化特征表示和基于移位窗口的自注意力机制，克服了常见模型在视觉任务中面临的尺度差异和分辨率差异问题。本文将其应用到v11中，使其在保持推理高效的同时，具备大模型的特点。
YOLO11改进 | 主干网络 | 替换EfficientViT为backbone【轻量化网络】
kay_545
10-24 1425
yolo11改进，yolo11，EfficientViT
如何在 RT-DETR 中实现 ConvNeXt 主干网络的具体模块替换？
07-29
### 3.1 替换主干网络的模块结构 在 RT-DETR 中，主干网络的作用是提取输入图像的多尺度特征。原始模型通常采用 ResNet18 作为主干网络，而 ConvNeXt V2 是一种基于深度卷积和全局响应归一化的全卷积架构，具有更强的特征表达能力和更少的参数量。 为了实现替换，首先需要导入 ConvNeXt V2 的结构，并确保其输出的特征图结构与 RT-DETR 的特征处理模块兼容。以下是一个基于 PyTorch 的示例实现： ```python import torch import torch.nn as nn from convnext import convnextv2_tiny # 假设 ConvNeXt V2 的实现已导入 class RTDETRBackbone(nn.Module): def __init__(self, backbone_name='convnextv2_tiny', pretrained=True): super(RTDETRBackbone, self).__init__() if backbone_name == 'convnextv2_tiny': self.backbone = convnextv2_tiny(pretrained=pretrained) else: raise NotImplementedError(f"Unsupported backbone: {backbone_name}") # 根据 ConvNeXt 输出通道数定义特征金字塔的输入通道 self.feat_channels = [96, 192, 384, 768] # ConvNeXt V2 Tiny 输出通道 def forward(self, x): features = self.backbone(x) return features ``` 该模块将 ConvNeXt V2 集成到 RT-DETR 的主干网络中，并返回多尺度特征图，供后续的特征金字塔网络（FPN）或 Transformer 模块使用。 ### 3.2 调整特征金字塔网络（FPN） 由于 ConvNeXt V2 的输出通道数与 ResNet18 不同，需要调整特征金字塔网络的输入维度。例如，假设 RT-DETR 原始 FPN 的输入通道为 `[64, 128, 256, 512]`，则应将其修改为 `[96, 192, 384, 768]`，以匹配 ConvNeXt V2 的输出特征维度。 以下是一个调整 FPN 的示例代码： ```python from detectron2.modeling import FPN class RTDETRFPN(nn.Module): def __init__(self, backbone_channels, out_channels=256): super(RTDETRFPN, self).__init__() self.fpn = FPN( bottom_up=None, # 使用自定义主干网络 in_features=["p0", "p1", "p2", "p3"], # 假设 ConvNeXt 输出的特征层名称 in_channels_list=backbone_channels, # 修改为 ConvNeXt 的输出通道 out_channels=out_channels, norm="" ) def forward(self, features): return self.fpn(features) ``` ### 3.3 集成主干网络与检测头 在完成主干网络和 FPN 的替换后，需要将它们集成到 RT-DETR 的完整模型中。以下是一个简化版的集成代码： ```python class RTDETRWithConvNeXt(nn.Module): def __init__(self, num_classes=80): super(RTDETRWithConvNeXt, self).__init__() self.backbone = RTDETRBackbone() self.fpn = RTDETRFPN(backbone_channels=self.backbone.feat_channels) self.transformer = ... # RT-DETR 的 Transformer 模块 self.head = ... # 检测头模块 def forward(self, x): features = self.backbone(x) features = self.fpn(features) outputs = self.transformer(features) return self.head(outputs) ``` ### 3.4 预训练权重加载与微调 在完成模型结构替换后，可以加载 ConvNeXt V2 的预训练权重，以加速收敛并提升检测性能。以下是一个加载权重的示例代码： ```python model = RTDETRWithConvNeXt() state_dict = torch.load("convnextv2_tiny_1k_224_ema.pt") # 加载预训练权重 model.backbone.load_state_dict(state_dict, strict=False) # 允许部分匹配 ``` 随后，可以冻结主干网络的部分层，并对检测头和 FPN 进行微调： ```python for param in model.backbone.parameters(): param.requires_grad = False # 冻结主干网络 # 仅训练 FPN 和检测头 optimizer = torch.optim.AdamW([ {'params': model.fpn.parameters()}, {'params': model.transformer.parameters()}, {'params': model.head.parameters()} ], lr=1e-4) ``` 通过上述步骤，可以将 ConvNeXt V2 成功集成到 RT-DETR 中，并实现主干网络的替换与优化。这种改进方法一方面利用全卷积掩码自动编码器在训练时优化特征学习，减少模型对大规模标注数据的依赖；另一方面，通过全局响应归一化层增强特征竞争，缓解特征坍塌问题，提高特征多样性[^1]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值