YOLOv5-7.0改进（二）BiFPN替换Neck网络

已于 2024-05-09 22:12:12 修改
阅读量2k 收藏 47
点赞数 22
文章标签： YOLO BiFPN 深度学习 python
于 2024-05-08 22:24:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54678439/article/details/138573924
版权

前言

针对红绿灯轻量化检测，上一节使用MobileNetv3替换了主干网络，本篇将在使用BiFPN替换Neck的方式优化算法~

往期回顾

YOLOv5-7.0改进（一）MobileNetv3替换主干网络

目录

一、BiFPN简介

BiFPN即“双向特征金字塔网络”，常用于目标检测和实例分割的神经网络架构。EfficientDet是以EfficientNet模型和双向特征加权金字塔网络BiFPN为基础，于2020年创新推出的新一代目标检测模型。

论文题目：《EfficientDet: Scalable and Efficient Object Detection》（《EfficientDet：可扩展且高效的目标检测》）
原文地址：EfficientDet: Scalable and Efficient Object Detection
论文提供代码地址：https://github.com/google/automl/tree/master/efficientdet
第三方提供代码地址：https://github.com/jewelc92/mmdetection/blob/3.x/projects/EfficientDet/efficientdet/bifpn.py

二、改进方法一

第一步：在common.py中添加BiFPN模块

代码如下：

# BiFPN 
# 两个特征图add操作
class BiFPN_Add2(nn.Module):
    def __init__(self, c1, c2):
        super(BiFPN_Add2, self).__init__()
        # 设置可学习参数 nn.Parameter的作用是：将一个不可训练的类型Tensor转换成可以训练的类型parameter
        # 并且会向宿主模型注册该参数 成为其一部分 即model.parameters()会包含这个parameter
        # 从而在参数优化的时候可以自动一起优化
        self.w = nn.Parameter(torch.ones(2, dtype=torch.float32), requires_grad=True)
        self.epsilon = 0.0001
        self.conv = nn.Conv2d(c1, c2, kernel_size=1, stride=1, padding=0)
        self.silu = nn.SiLU()
 
    def forward(self, x):
        w = self.w
        weight = w / (torch.sum(w, dim=0) + self.epsilon)
        return self.conv(self.silu(weight[0] * x[0] + weight[1] * x[1]))
 
 
# 三个特征图add操作
class BiFPN_Add3(nn.Module):
    def __init__(self, c1, c2):
        super(BiFPN_Add3, self).__init__()
        self.w = nn.Parameter(torch.ones(3, dtype=torch.float32), requires_grad=True)
        self.epsilon = 0.0001
        self.conv = nn.Conv2d(c1, c2, kernel_size=1, stride=1, padding=0)
        self.silu = nn.SiLU()
 
    def forward(self, x):
        w = self.w
        weight = w / (torch.sum(w, dim=0) + self.epsilon)  
        # Fast normalized fusion
        return self.conv(self.silu(weight[0] * x[0] + weight[1] * x[1] + weight[2] * x[2]))

效果如下：
在这里插入图片描述

第二步：在yolo.py中的parse_model函数加入类名

添加内容如下：

# 添加bifpn_add结构
elif m in [BiFPN_Add2, BiFPN_Add3]:
    c2 = max([ch[x] for x in f])

效果如下：
在这里插入图片描述

第三步：制作模型配置文件

复制yolov5s.yaml文件，重命名为yolov5s_BiFPN.yaml，代码如下：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 12  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.1 BiFPN head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, BiFPN_Add2, [256, 256]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13
 
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, BiFPN_Add2, [128, 128]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 
 
   [-1, 1, Conv, [512, 3, 2]],  
   [[-1, 13, 6], 1, BiFPN_Add3, [256, 256]],  #v5s通道数是默认参数的一半
   [-1, 3, C3, [512, False]],  # 20 
 
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, BiFPN_Add2, [256, 256]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 
 
   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

第四步：验证新加入的BiFPN

运行yolo.py:

在这里插入图片描述
可以看到所有的Concat被换成了BiFPN_Add

第五步：修改train.py中的cfg参数

将模型配置文件修改为yolov5s_BiFPN.yaml

在这里插入图片描述

第六步：运行 python train.py

开始训练：

在这里插入图片描述
训练结束后结果保存到run/train文件夹下~

结果对比：
在这里插入图片描述

可以看到更换BiFPN之后的性能有所下降！

好了，到这里关于YOLOv5中第一种BiFPN替换Neck的改进就完成了!

三、改进方法二

第一步：在common.py中添加BiFPN模块

添加代码如下：

# 结合BiFPN 设置可学习参数 学习不同分支的权重
# 两个分支concat操作
class BiFPN_Concat2(nn.Module):
    def __init__(self, dimension=1):
        super(BiFPN_Concat2, self).__init__()
        self.d = dimension
        self.w = nn.Parameter(torch.ones(2, dtype=torch.float32), requires_grad=True)
        self.epsilon = 0.0001
 
    def forward(self, x):
        w = self.w
        weight = w / (torch.sum(w, dim=0) + self.epsilon)  # 将权重进行归一化
        # Fast normalized fusion
        x = [weight[0] * x[0], weight[1] * x[1]]
        return torch.cat(x, self.d)
 
 
# 三个分支concat操作
class BiFPN_Concat3(nn.Module):
    def __init__(self, dimension=1):
        super(BiFPN_Concat3, self).__init__()
        self.d = dimension
        # 设置可学习参数 nn.Parameter的作用是：将一个不可训练的类型Tensor转换成可以训练的类型parameter
        # 并且会向宿主模型注册该参数 成为其一部分 即model.parameters()会包含这个parameter
        # 从而在参数优化的时候可以自动一起优化
        self.w = nn.Parameter(torch.ones(3, dtype=torch.float32), requires_grad=True)
        self.epsilon = 0.0001
 
    def forward(self, x):
        w = self.w
        weight = w / (torch.sum(w, dim=0) + self.epsilon)  # 将权重进行归一化
        # Fast normalized fusion
        x = [weight[0] * x[0], weight[1] * x[1], weight[2] * x[2]]
        return torch.cat(x, self.d)

效果如下：

在这里插入图片描述

第二步：在yolo.py中的parse_model函数加入类名

添加以下代码：

# 添加bifpn_concat结构
elif m in [Concat, BiFPN_Concat2, BiFPN_Concat3]:
    c2 = sum(ch[x] for x in f)

效果如下：

在这里插入图片描述

第三步：制作模型配置文件

复制yolov5s.yaml重命名为yolov5s-BiFPN1.yaml，内容如下：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 12  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.1 BiFPN head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, BiFPN_Concat2, [1]],  # cat backbone P4 <--- BiFPN change
   [-1, 3, C3, [512, False]],  # 13
 
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, BiFPN_Concat2, [1]],  # cat backbone P3 <--- BiFPN change
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)
 
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14, 6], 1, BiFPN_Concat3, [1]],  # cat P4 <--- BiFPN change
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)
 
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, BiFPN_Concat2, [1]],  # cat head P5 <--- BiFPN change
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)
 
   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

第四步：验证新加入的BiFPN

运行models/yolo.py

在这里插入图片描述

第五步：修改train.py中的cfg参数

跟上面步骤一样，将模型配置文件修改为yolov5s_BiFPN1.yaml

第六步：运行 python train.py

开始训练：

在这里插入图片描述

训练结束后结果保存到run/train文件夹下~

结果对比：
在这里插入图片描述

可以看到更换BiFPN之后的前30轮均有所提升，后70轮基本相平！

好了，到这里关于YOLOv5中第二种BiFPN替换Neck的改进就完成了!

YOLOv7 更换Neck之 BiFPN
YOLOv8项目贡献者
03-30 6097
YOLOv7添加BiFPN
主干网络篇 | YOLOv5/v7 更换骨干网络之 GhostNet | 从廉价的操作中生成更多的特征图
YOLOv8项目贡献者
01-02 1万+
YOLOv5/v7 更换骨干网络之 GhostNet
[YOLOv8/YOLOv7/YOLOv5系列算法改进NO.5]改进特征融合网络PANET为BIFPN（更新添加小目标检测层yaml）
热门推荐
m0_70388905的博客
06-21 3万+
四个检测层的基础上改进特征融合网络为BIFPN。
yolov5-7.0关于添加Bi_FPN的探讨
= =
03-27 3950
由于鄙人读研阶段在ML4DB方向出现挫折，研二下的我不得已转换方向为计算机视觉。目前正在一步一步从头开始，导师已经放弃我，目前对我的毕业要求就是发一篇国外的英文普刊，还算简单，慢慢学，慢慢干。我老老实实的按照大神博主的方案进行修改。
改进YOLOv5 | 头部解耦 | 将YOLOX解耦头添加到YOLOv5 | 涨点杀器
YOLOv8项目贡献者
10-20 2万+
在目标检测中，分类任务和回归任务之间的冲突是一个众所周知的问题。因此...
YOLOv5 更换Neck之 BiFPN
最新发布
weixin_39818775的博客
07-16 450
YOLOv5 是一个用于目标检测的深度学习模型，其核心架构由主干网络（Backbone）、颈部网络（Neck）和头部网络（Head）组成。颈部网络的作用是将主干网络提取的特征融合并调整到适合头部网络进行预测的尺寸。BiFPN（Bi-directional Feature Pyramid Network）是一种新型的颈部网络结构，它通过自下而上的特征融合和自上而下的特征增强来提高目标检测的性能。能够更好地保留多尺度特征信息；能够增强特征的语义信息；能够提高目标检测的准确性和鲁棒性。
YOLOv5改进之BiFPN(含代码，超详细哦)
kay_545
10-05 1万+
BiFPN即“双向特征金字塔网络”，是一种常用于计算机视觉任务，特别是目标检测和实例分割的神经网络架构。它扩展了特征金字塔网络（FPN），通过在金字塔级别之间引入双向连接，使信息能够在网络中同时进行自底向上和自顶向下的流动。以下是BiFPN的工作原理概述：1. 特征金字塔生成：最初，网络通过从骨干网络（通常是ResNet等卷积神经网络）的多个层中提取特征来生成特征金字塔。2. 双向连接：与传统FPN不同，BiFPN在特征金字塔相邻级别之间引入了双向连接。
【YOLOv5改进系列(12)】高效涨点(强推!!!)----使用BiFPN特征融合方式替换yolov5中的PANet网络
慕溪同学的博客
05-12 5171
BiFPN即“双向特征金字塔网络”，是一种常用于计算机视觉任务，特别是目标检测和实例分割的神经网络架构。它扩展了特征金字塔网络（FPN），通过在金字塔级别之间引入双向连接，使信息能够在网络中同时进行自底向上和自顶向下的流动。特征金字塔生成：最初，网络通过从骨干网络（通常是ResNet等卷积神经网络）的多个层中提取特征来生成特征金字塔。双向连接：与传统FPN不同，BiFPN在特征金字塔相邻级别之间引入了双向连接。
YOLOv8改进-bifpn
weixin_45303602的博客
08-06 7260
跨尺度连接通过添加一个跳跃连接和双向路径来实现，自此实现了加权融合和双向跨尺度连接。该结构是加权且双向连接的，即自顶向下和自底向上结构，通过构造双向通道实现跨尺度连接，将特征提取网络中的特征直接与自下而上路径中的相对大小特征融合，保留了更浅的语义信息，而不会丢失太多的深层语义信息。传统的特征融合时将尺度不同的特征图以相同权重进行加权，但是当输入的特征图分辨率不同时，以相同的权重进行加权对输出的特征图不平等。所以BiFPN根据不同输入特征的重要性设置不同的权重，同时反复采用这种结构来加强特征融合。
YOLOv5改进-引入BiFPN
weixin_57130167的博客
05-02 7784
YOLOv5模型的Neck部分使用的是FPN+PAN结构，从neck特征融合入手，引入加权双向特征金字塔BiFPN来加强特征图的底层信息，使不同尺度的特征图进行信息融合，从而加强特征信息。
yolov5l.zip
08-09
YOLOv5权重文件：S模型。yolov5系列将在2020年第2/3季度进行架构研究和开发，以提高性能。更新可能包括来自yolov4的CSP瓶颈，以及PANet或BiFPN head特性。
YOLOv5改进系列（12）——更换Neck之BiFPN
路人贾的博客
06-30 7919
手把手教你改进YOLOv5系列之更换BiFPN，含两种方式，超级详细！
YOLOv5改进系列(五) 更换Neck之BiFPN，AFPN，BiFusion
专注于人工智能学习，总结
12-14 9324
是继 2019 年推出 EfficientNet 模型之后，Google 人工智能研究小组Tan Mingxing等人为进一步提高目标检测效率，以 EfficientNet 模型和双向特征加权金字塔网络 BiFPN为基础，于2020 年创新推出的新一代目标检测模型，在COCO数据集上吊打其他方法。多尺度特征在目标检测任务中对具有尺度方差的目标进行编码时具有重要意义。多尺度特征提取的一种常见策略是采用经典的自上而下和自下而上的特征金字塔网络。
YOLOv8改进 | Neck篇 | BiFPN双向特征金字塔网络（附yaml文件+代码）
Snu77的博客
12-14 1万+
本文给大家带来的改进机制是BiFPN双向特征金字塔网络，其是一种特征融合层的结构，也就是我们本文改进YOLOv8模型中的Neck部分，它的主要思想是通过多层级的特征金字塔和双向信息传递来提高精度。本文给大家带来的结构可以让大家自行调节网络结构大小，同时能够达到一定的轻量化效果(需要注意的是BiFPN正常是需要五个检测头的，但是YOLOv8只有三个检测头，所以我对其yaml文件进行了一定设计，从而支持三个头的检测，后面我也会出四个头的BiFPN，然后配合我前面的AFPN_Detect检测头来融合)。
YOLOv5加入BiFPN，以及创新型改进想法
qq_44224801的博客
05-04 2147
然后，我们在 Concat_bifpn 类中使用 GlobalSelfAttention 类来计算不同输入特征的注意力权重。在 ChannelAttention 类中添加了一个可学习参数 self.learnable_weight，并在 forward 函数中，将通道注意力权重与可学习权重相乘。这将使模型能够同时利用注意力机制和可学习参数来计算权重，从而学习更有效的特征表示。这将使模型能够学习更有效的特征表示。这样，模型将通过注意力机制计算权重，并同时学习如何提取更有效的特征。
YOLOv8改进之更换BiFPN并融合P2小目标检测层
qq_43649937的博客
11-03 1万+
YOLOv8
YOLOv8优改系列一：YOLOv8融合BiFPN网络，实现网络快速涨点
源的博客
04-22 6101
🌳论文地址点击🌳源码地址点击🌳问题阐述：传统的自上而下的FPN在本质上受到单向信息流的限制。为了解决这个问题，PANet 添加了一个额外的自底向上的路径聚合网络。最近，NAS-FPN 采用神经结构搜索来搜索更好的跨尺度特征网络拓扑，但在搜索过程中需要数千小时的GPU，发现的网络不规则，难以解释或修改。🌳主要思想：1. 高效的双向跨尺度连接；2. 加权特征图融合。🌳解决方法。
YOLOv8最新改进系列：YOLOv8融合BiFPN网络，亲测显著涨点！
B站 Ai学术叫叫兽的文案地
08-31 3万+
提示：文章写完后，目YOLOv8最新改进系列：YOLOv8融合BiFPN网络，亲测显著涨点！
如何在yolov5中添加bifpn
07-14
在 YOLOv5 中添加 BiFPN（Bi-directional Feature Pyramid Network）可以提高目标检测的性能。BiFPN 是在 FPN（Feature Pyramid Network）的基础上进行了改进，它增加了横向和纵向的连接来增强特征金字塔的信息传递和融合能力。 要在 YOLOv5 中添加 BiFPN，可以按照以下步骤进行： 1. 在 YOLOv5 的网络结构中，找到特征提取网络部分。一般来说，YOLOv5 使用的是 CSPDarknet53 或 CSPDarknetLite 作为特征提取网络。 2. 在特征提取网络的最后一层之后，添加 BiFPN 模块。BiFPN 模块由多个 BiFPN 层组成，每个 BiFPN 层由两个阶段构成：上采样和下采样。 3. 上采样阶段：将较低层级的特征金字塔通过上采样操作增加分辨率，使其与较高层级的特征金字塔具有相同的尺寸。 4. 下采样阶段：将较高层级的特征金字塔通过下采样操作减小分辨率，使其与较低层级的特征金字塔具有相同的尺寸。 5. 在上采样和下采样之间，使用融合操作将不同层级的特征金字塔进行融合。常见的融合操作有加法、乘法或者是使用卷积操作。 6. 重复上述步骤，直到达到所需的特征金字塔的层数。 添加 BiFPN 后，可以将其连接到 YOLOv5 的检测头部，然后进行目标检测的训练和推理。 需要注意的是，具体的实现细节可能因 YOLOv5 的版本和代码库而有所不同。因此，在实际操作中，你可能需要参考 YOLOv5 的代码库和相关文档来了解如何添加 BiFPN。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值