爆改YOLOv8| 利用ResNet18、34、50、101替换yolo主干网络

1,本文介绍

ResNet(深度残差网络)通过引入“快捷连接”来解决深层神经网络训练中的梯度消失问题。这些快捷连接允许网络的输入直接跳过中间的层,直接传递到后面的层,从而使得网络能够专注于学习输入与输出之间的残差(即差异),而非直接学习复杂的函数映射。这种设计方式使得网络在需要时可以简单地实现恒等映射,简化了训练过程,缓解了深层网络训练中的困难。因此,ResNet 能够有效地训练非常深的网络结构,并在多个视觉识别任务上取得显著的性能提升。

关于ResNet的详细介绍可以看论文:https://arxiv.org/pdf/1512.03385.pdf

本文将讲解如何将ResNet融合进yolov8

话不多说,上代码!

2, 将ResNet融合进yolov8

2.1 步骤一

首先找到如下的目录'ultralytics/nn',然后在这个目录下创建一个'Addmodules'文件夹,然后在这个目录下创建一个ResNet.py文件,文件名字可以根据你自己的习惯起,然后将ResNet的核心代码复制进去。

from collections import OrderedDict
import torch.nn as nn
import torch.nn.functional as F
 
class ConvNormLayer(nn.Module):
    def __init__(self,
                 ch_in,
                 ch_out,
                 filter_size,
                 stride,
                 groups=1,
                 act=None):
        super(ConvNormLayer, self).__init__()
        self.act = act
        self.conv = nn.Conv2d(
            in_channels=ch_in,
            out_channels=ch_out,
            kernel_size=filter_size,
            stride=stride,
            padding=(filter_size - 1) // 2,
            groups=groups)
 
        self.norm = nn.BatchNorm2d(ch_out)
 
 
    def forward(self, inputs):
 
        out = self.conv(inputs)
        out = self.norm(out)
        if self.act:
            out = getattr(F, self.act)(out)
        return out
 
 
class SELayer(nn.Module):
    def __init__(self, ch, reduction_ratio=16):
        super(SELayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(ch, ch // reduction_ratio, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(ch // reduction_ratio, ch, bias=False),
            nn.Sigmoid()
        )
 
    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_as(x)
 
 
 
class BasicBlock(nn.Module):
    expansion = 1
    def __init__(self,
                 ch_in,
                 ch_out,
                 stride,
                 shortcut,
                 act='relu',
                 variant='b',
                 att=False):
        super(BasicBlock, self).__init__()
        self.shortcut = shortcut
        if not shortcut:
            if variant == 'd' and stride == 2:
                self.short = nn.Sequential()
                self.short.add_sublayer(
                    'pool',
                    nn.AvgPool2d(
                        kernel_size=2, stride=2, padding=0, ceil_mode=True))
                self.short.add_sublayer(
                    'conv',
                    ConvNormLayer(
                        ch_in=ch_in,
                        ch_out=ch_out,
                        filter_size=1,
   
### 集成ResNetYOLOv8YOLOv8中引入ResNet架构能够增强模型的特征提取能力,尤其是在处理复杂的背景和多尺度对象时表现更为突出。具体来说,在YOLOv8 Backbone部分替换或附加ResNet模块可以有效提升模型性能。 #### 修Backbone结构 可以通过调整YOLOv8的Backbone来融合ResNet特性。一种常见做法是在原有Backbone基础上加入ResNet中的残差块(Residual Block)。这些残差块有助于解决深层网络训练过程中可能出现的梯度消失问题,并且能进一步加深网络层次而不损失精度[^1]。 ```python import torch.nn as nn class ResBlock(nn.Module): expansion = 1 def __init__(self, in_planes, planes, stride=1): super(ResBlock, self).__init__() self.conv1 = nn.Conv2d(in_planes, planes, kernel_size=3, stride=stride, padding=1, bias=False) self.bn1 = nn.BatchNorm2d(planes) self.conv2 = nn.Conv2d(planes, planes, kernel_size=3, stride=1, padding=1, bias=False) self.bn2 = nn.BatchNorm2d(planes) self.shortcut = nn.Sequential() if stride != 1 or in_planes != self.expansion*planes: self.shortcut = nn.Sequential( nn.Conv2d(in_planes, self.expansion*planes, kernel_size=1, stride=stride, bias=False), nn.BatchNorm2d(self.expansion*planes) ) def forward(self, x): out = torch.relu(self.bn1(self.conv1(x))) out = self.bn2(self.conv2(out)) out += self.shortcut(x) out = torch.relu(out) return out ``` 此代码定义了一个标准的ResNet残差单元,可以在构建YOLOv8 Backbone时作为组件插入。对于更深层次的进,还可以考虑采用带有CBAM注意力机制的ResNet变体,以加强通道间及空间位置上的信息交互[^3]。 #### 替换现有组件 另一种方法是完全用预训练好的ResNet模型替代YOLOv8原有的Backbone部分。这样不仅可以利用ResNet强大的表征学习能力,还能借助迁移学习的优势快速收敛于高质量解。需要注意的是,当执行此类操作时要确保新旧两者的输出维度匹配良好以便顺利衔接Neck与Head组件。 ```python from torchvision.models import resnet50 def build_yolov8_with_resnet(): backbone = resnet50(pretrained=True) # 假设yolov8_neck_and_head代表YOLOv8 Neck加Head的部分 model = nn.Sequential(backbone, yolov8_neck_and_head()) return model ``` 上述函数展示了如何基于PyTorch库创建一个结合了ResNet50骨干网的新YOLOv8实例。实际应用中可能还需要根据具体情况微调各层配置参数。
评论 24
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值