【YOLOv5改进系列(12)】高效涨点(强推!!!)----使用BiFPN特征融合方式替换yolov5中的PANet网络

最新推荐文章于 2024-05-23 21:35:34 发布

慕溪同学

最新推荐文章于 2024-05-23 21:35:34 发布

阅读量1.1k

点赞数 20

分类专栏： # yolov5改进系列文章标签： YOLO 深度学习目标检测计算机视觉人工智能

本BLOG上原创文章未经本人许可，不得用于商业用途。转载请注明出处，否则保留追究法律责任的权利。

本文链接：https://blog.csdn.net/J_oshua/article/details/138767737

版权

yolov5改进系列专栏收录该内容

12 篇文章 36 订阅

订阅专栏

在这里插入图片描述

在这里插入图片描述

👀🎉📜系列文章目录

🚀🚀🚀前言

BiFPN即“双向特征金字塔网络”，是一种常用于计算机视觉任务，特别是目标检测和实例分割的神经网络架构。它扩展了特征金字塔网络（FPN），通过在金字塔级别之间引入双向连接，使信息能够在网络中同时进行自底向上和自顶向下的流动。

以下是BiFPN的工作原理概述：

特征金字塔生成：最初，网络通过从骨干网络（通常是ResNet等卷积神经网络）的多个层中提取特征来生成特征金字塔。
双向连接：与传统FPN不同，BiFPN在特征金字塔相邻级别之间引入了双向连接。这意味着信息可以从更高级别的特征流向更低级别的特征（自顶向下路径），也可以从更低级别的特征流向更高级别的特征（自底向上路径）。
特征整合：双向连接允许在两个方向上整合来自特征金字塔不同级别的信息。这种整合有助于有效地捕获多尺度特征。
加权特征融合：BiFPN采用加权特征融合机制，将不同级别的特征进行组合。融合的权重在训练过程中学习，确保了最佳的特征整合。

BiFPN中的双向连接有助于更好地在不同尺度上捕获特征表示，提高了网络处理不同尺寸和复杂度对象的能力。这在目标检测任务中尤为重要，因为图像中的对象大小可能差异显著。

🔥🔥🔥研究表明，BiFPN可以提高模型的效率和性能，特别是对于目标检测、实例分割和其他相关计算机视觉任务。博主在实验的时候在疵点数据上测试结果效果非常好，map@0.5提升了将近7个百分点，而且F1置信分数也提升了10个百分点

一、1️⃣ BiFPN解读

BiFPN是在EfficientDet: Scalable and Efficient Object Detection这篇论文中提出来的，传统的自上而下的 FPN 本质上受到单向信息流的限制。为了解决这个问题，PANet 添加了一个额外的自下而上的路径聚合网络，如下图（b）所示。 NAS-FPN采用神经架构搜索来搜索更好的跨尺度特征网络拓扑，但在搜索过程中需要数千个GPU小时，并且发现的网络不规则并且难以解释或修改，如下图（c）所示。
在这里插入图片描述
通过研究这三个网络的性能和效率，我们观察到 PANet 比 FPN 和 NAS-FPN 实现了更好的精度，但代价是更多的参数和计算量加粗样式。为了提高模型效率，论文作者提出了几种跨尺度连接的优化，也就是BiFPN网络，如图(d)：

第一，删除那些只有一个输入边的节点。我们的直觉很简单：如果一个节点只有一个输入边，没有特征融合，那么它对旨在融合不同特征的特征网络的贡献就会较小，这导致了一个简化的双向网络;
第二，如果原始输入和输出节点处于同一水平，我们在原始输入和输出节点之间增加一条额外的边，以便在不增加太多成本的情况下融合更多的特征;
第三，与PANet只有一条自顶向下和一条自底向上的路径不同，我们将每条双向(自顶向下和自底向上)路径视为一个特征网络层，并多次重复同一层，以实现更高级的特征融合。(在yolo当中PANet都是只有一条的，但是在EfficientDet论文中，作者将BiFPN这个特征融合层设置多次重复，可以融合更加高级的特征)
第四，使用了加权特征融合，像P3~P7这几个stage特征融合的时候设置的有不同权重参数，这样可以保证网络集中在目标特征上面，同时这个权重参数也是通过训练得到的。

通过不同特征网络的比较实验数据对比可以看出，论文中的的加权BiFPN以更少的参数和FLOPs达到了最好的精度。

二、2️⃣ BiFPN添加方式

2.1 🎓 在common.py中添加BiFPN模块

📌📌📌将下面BiFPN模块的代码复制粘贴到common.py文件的末尾。

# BiFPN 
# 两个特征图add操作
class BiFPN_Add2(nn.Module):
    def __init__(self, c1, c2):
        super(BiFPN_Add2, self).__init__()
        # 设置可学习参数 nn.Parameter的作用是：将一个不可训练的类型Tensor转换成可以训练的类型parameter
        # 并且会向宿主模型注册该参数 成为其一部分 即model.parameters()会包含这个parameter
        # 从而在参数优化的时候可以自动一起优化
        self.w = nn.Parameter(torch.ones(2, dtype=torch.float32), requires_grad=True)
        self.epsilon = 0.0001
        self.conv = nn.Conv2d(c1, c2, kernel_size=1, stride=1, padding=0)
        self.silu = nn.SiLU()
 
    def forward(self, x):
        w = self.w
        weight = w / (torch.sum(w, dim=0) + self.epsilon)
        return self.conv(self.silu(weight[0] * x[0] + weight[1] * x[1]))
 
 
# 三个特征图add操作
class BiFPN_Add3(nn.Module):
    def __init__(self, c1, c2):
        super(BiFPN_Add3, self).__init__()
        self.w = nn.Parameter(torch.ones(3, dtype=torch.float32), requires_grad=True)
        self.epsilon = 0.0001
        self.conv = nn.Conv2d(c1, c2, kernel_size=1, stride=1, padding=0)
        self.silu = nn.SiLU()
 
    def forward(self, x):
        w = self.w
        weight = w / (torch.sum(w, dim=0) + self.epsilon)  
        # Fast normalized fusion
        return self.conv(self.silu(weight[0] * x[0] + weight[1] * x[1] + weight[2] * x[2]))

2.2 ✨在yolo.py文件中加入BiFPN

📌在yolo.py文件的parse_model网络解析函数中找到 elif m is Concat: 语句，在其后面加上下列语句：

# 添加bifpn_add结构
elif m in [BiFPN_Add2, BiFPN_Add3]:
    c2 = max([ch[x] for x in f])

在这里插入图片描述

2.3 ⭐️自定义yolov5s_BiFPN.yaml文件

📌将head配置文件中的所有concat连接都替换成BiFPN_Add2模块还有BiFPN_Add3模块，配置文件如下：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 6  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.1 BiFPN head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, BiFPN_Add2, [256, 256]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, BiFPN_Add2, [128, 128]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 13, 6], 1, BiFPN_Add3, [256, 256]],  #v5s通道数是默认参数的一半
   [-1, 3, C3, [512, False]],  # 20

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, BiFPN_Add2, [256, 256]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23

   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

2.4 🎯添加yolov5s_BiFPN.yaml

在yolo.py文件里找到DetectionModel函数，将我们刚才定义好的yolov5s_BiFPN.yaml添加进去，同时在main函数里面将默认配置文件也替换成yolov5s_BiFPN.yaml；
在这里插入图片描述

这个时候我们其实可以直接运行yolo.py文件，查看网络配置结构，由运行结果可以看到，所有Concat已被换成了BiFPN_Add。

在这里插入图片描述

☀️2.5修改train.py文件

📌在train.py文件中找到Optimizer优化器设置这一部分，添加下面这段代码；

    g0, g1, g2 = [], [], []  # optimizer parameter groups
    for v in model.modules():
        if hasattr(v, 'bias') and isinstance(v.bias, nn.Parameter):  # bias
            g2.append(v.bias)
        if isinstance(v, nn.BatchNorm2d):  # weight (no decay)
            g0.append(v.weight)
        elif hasattr(v, 'weight') and isinstance(v.weight, nn.Parameter):  # weight (with decay)
            g1.append(v.weight)
        # BiFPN_Concat
        elif isinstance(v, BiFPN_Add2) and hasattr(v, 'w') and isinstance(v.w, nn.Parameter):
            g1.append(v.w)
        elif isinstance(v, BiFPN_Add3) and hasattr(v, 'w') and isinstance(v.w, nn.Parameter):
            g1.append(v.w)

在这里插入图片描述
📌注意，需要提前在train.py文件中导入我们刚刚的BiFPN_Add2模块还有BiFPN_Add3模块。

from models.common import BiFPN_Add2
from models.common import BiFPN_Add3

将上述步骤完成后，在train.pymain函数里面添加yolov5s_BiFPN.yaml文件即可开始训练
在这里插入图片描述

三、3️⃣ 实验结果

➤yolov5基准模型：F1置信度分数为0.71、map@0.5=0.779；
在这里插入图片描述
➤替换BiFPN：F1置信度分数为0.81、map@0.5=0.856；

在这里插入图片描述

慕溪同学

关注

20
点赞
踩
26

收藏

觉得还不错? 一键收藏
打赏
0
评论
【YOLOv5改进系列(12)】高效涨点(强推!!!)----使用BiFPN特征融合方式替换yolov5中的PANet网络

BiFPN即“双向特征金字塔网络”，是一种常用于计算机视觉任务，特别是目标检测和实例分割的神经网络架构。它扩展了特征金字塔网络（FPN），通过在金字塔级别之间引入双向连接，使信息能够在网络中同时进行自底向上和自顶向下的流动。特征金字塔生成：最初，网络通过从骨干网络（通常是ResNet等卷积神经网络）的多个层中提取特征来生成特征金字塔。双向连接：与传统FPN不同，BiFPN在特征金字塔相邻级别之间引入了双向连接。
复制链接

扫一扫