YOLOv8优改系列一：YOLOv8融合BiFPN网络，实现网络快速涨点

💥 💥💥 💥💥 💥💥 💥💥神经网络专栏改进完整目录：点击
💗 只需订阅一个专栏即可享用所有网络改进内容，每周定时更新
文章内容：针对YOLOv8的Neck部分融合BiFPN（双向特征金字塔网络）网络，实现网络快速涨点！！！
推荐指数（满分五星）：⭐️⭐️⭐️⭐️
涨点指数（满分五星）：⭐️⭐️⭐️⭐️

---

一、BiFPN介绍

🌳论文地址：点击
🌳源码地址：点击
🌳问题阐述：传统的自上而下的FPN在本质上受到单向信息流的限制。为了解决这个问题，PANet 添加了一个额外的自底向上的路径聚合网络。最近，NAS-FPN 采用神经结构搜索来搜索更好的跨尺度特征网络拓扑，但在搜索过程中需要数千小时的GPU，发现的网络不规则，难以解释或修改。
🌳主要思想：1. 高效的双向跨尺度连接；2. 加权特征图融合。
🌳解决方法：

1. PANet进行特征融合时，是通过Concat的，一般高层和低层的特征贡献程度相同，BiFPN在特征融合时，通过一组可学习的归一化权重参数调整各层贡献程度。
2. BiFPN堆叠多层实现更高维度的特征融合。

🌳工作原理：

1. 特征金字塔生成：最初，网络通过从骨干网络（通常是ResNet等卷积神经网络）的多个层中提取特征来生成特征金字塔。

2. 双向连接：与传统FPN不同，BiFPN在特征金字塔相邻级别之间引入了双向连接。这意味着信息可以从更高级别的特征流向更低级别的特征（自顶向下路径），也可以从更低级别的特征流向更高级别的特征（自底向上路径）。

3. 特征整合：双向连接允许在两个方向上整合来自特征金字塔不同级别的信息。这种整合有助于有效地捕获多尺度特征。

4. 加权特征融合：BiFPN采用加权特征融合机制，将不同级别的特征进行组合。融合的权重在训练过程中学习，确保了最佳的特征整合。

   BiFPN中的双向连接有助于更好地在不同尺度上捕获特征表示，提高了网络处理不同尺寸和复杂度对象的能力。这在目标检测任务中尤为重要，因为图像中的对象大小可能差异显著。

🌳网络结构图：

二、核心代码修改

2.1 修改yaml配置文件

复制一份ultralytics\cfg\models\v8\yolov8.yaml下的yolov8.yaml文件到v8同级目录文件my_v8（新创建一个，好区分），取名为yolov8-bifpn.yaml，然后将yolov8-bifpn.yaml文件内容全部修改为以下内容（加入了跳级连接以及加权特征融合，完全按照bifpn的方式加入）：

配置文件，可通过关注公众号【AI应用视界】
    输入关键字 yolov8+bifpn 自动获取

2.2 创建模块文件

ultralytics\nn\modules，在此路径下新建专门存放我们新添加的模块文件夹my_modules（好区分），然后在此文件夹下新建bifpn.py，添加以下内容：

核心模块文件，可通过关注公众号【AI应用视界】
    输入关键字 yolov8+bifpn 自动获取

2.3 修改task.py文件

在ultralytics\nn文件夹中找到tasks.py文件，并对以下内容（#todo）进行添加。

• 第20行，导入bifpn模块
• 第711行，定义此模块的处理方式，和concat一致

...................
from ultralytics.utils.plotting import feature_visualization
from ultralytics.utils.torch_utils import (fuse_conv_and_bn, fuse_deconv_and_bn, initialize_weights, intersect_dicts,
                                           make_divisible, model_info, scale_img, time_sync)
from ultralytics.nn.my_modules.bifpn import BiFPN_Add2, BiFPN_Add3 #todo 第20行
...................
        elif m is Concat:
            c2 = sum(ch[x] for x in f)
        elif m in [BiFPN_Add2, BiFPN_Add3]: # 第 709行左右
            c2 = max([ch[x] for x in f])
        elif m in (Detect, Segment, Pose):
            args.append([ch[x] for x in f])
...................

2.4 修改训练代码

import os
from ultralytics import YOLO

current_path = os.path.dirname(os.path.realpath(__file__))
root_path = os.path.abspath(os.path.join(current_path, "../..")) + "/"

# Load a model
# model = YOLO(root_path + 'ultralytics/cfg/models/v8/yolov8s.yaml').load(
# 	root_path + 'weights/det/yolov8s.pt')  # build from YAML and transfer weights
model = YOLO(root_path + 'ultralytics/cfg/models/my_v8/yolov8-bifpn.yaml')
#model = YOLO(root_path + 'runs1/det/train3/weights/best.pt' ) # build from YAML and transfer weights

if __name__ == '__main__':
	# ultralytics/cfg/models/v8/yolov8s.yaml
	# ultralytics/cfg/models/my_v8/yolov8-bifpn.yaml
	results = model.train(data=root_path + 'my_file/object_detection/dataset_cfg/car.yaml', epochs=10, imgsz=416, batch=2, workers=0, lr0=0.01, amp=False, project=root_path+"runs/det")
 	#results = model.train(data=root_path + "my_file/object_detection/dataset_cfg/smoke.yaml", epochs=100, imgsz=416, batch=16, workers=4, lr0=0.01, resume=True, project=root_path+"runs1/det")

运行此代码即可将bifpn结合YOLOv8进行训练

2.5 问题总结

1. 如果遇到v8在文件里修改了模型，但是训练时调用总是调用虚拟环境中的库。
   • 是这种情况是没有成功载入你的模块，建议使用pycharm来运行，并仔细查看有没有导入正确。

微信公众号搜索方式：1.AI应用视界；2.可根据CSDN下方名片进行搜索