【YOLOv8改进】BiFPN：加权双向特征金字塔网络 (论文笔记+引入代码)

YOLO目标检测创新改进与实战案例专栏

专栏目录： YOLO有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLO基础解析+创新改进+实战案例

介绍

摘要

在计算机视觉领域，模型效率的重要性日益增加。在本文中，我们系统地研究了用于目标检测的神经网络架构设计选择，并提出了几个关键优化以提高效率。首先，我们提出了一种加权双向特征金字塔网络（BiFPN），它允许轻松快速地进行多尺度特征融合；其次，我们提出了一种复合缩放方法，该方法统一缩放了所有主干网络、特征网络以及框/类别预测网络的分辨率、深度和宽度。基于这些优化和更好的主干网络，我们开发了一种新的目标检测器系列，称为EfficientDet，它在广泛的资源约束条件下始终比先前的技术实现了更好的效率。特别是，我们的EfficientDet-D7在COCO test-dev上以单模型和单尺度实现了55.1 AP的最先

创新点

BiFPN（双向特征金字塔网络）的创新点可以从以下几个方面总结：

1. 高效的双向跨尺度连接：BiFPN的核心创新之一是双向跨尺度连接，允许特征在不同层级之间通过自上而下和自下而上的路径进行更全面的信息传递和融合。这与传统的FPN和PAN不同，后者主要采用自上而下的特征传播方式。

2. 加权特征融合：BiFPN为每条连接边引入了可学习的权重，允许模型根据不同特征的重要性自适应地调整融合方式。这种加权方法优化了多尺度特征的融合效果，提高了特征表示的准确性。

3. 不规则特征网络拓扑：BiFPN不局限于固定的网络结构，而是使用神经网络架构搜索技术来寻找最优的特征网络拓扑结构。这提供了更大的灵活性，适应不同的任务和资源约束。

4. 特征调整和特征选择：在特征融合过程中，BiFPN不仅仅是简单地合并特征，而是通过权重调整和动态特征选择，优化融合结果，确保重要特征得到有效利用。

5. 与EfficientDet的结合：BiFPN是EfficientDet架构的一部分，其中EfficientNet作为骨干网络，BiFPN负责特征融合。BiFPN的设计允许模型在保持准确性的同时实现高效率，特别是在模型放大时，BiFPN的深度和宽度根据复合缩放方法进行调整。

文章链接

论文地址：论文地址

代码地址：代码地址

基本原理

BiFPN 全名为 bi-directional feature pyramid network (加权双向特征金字塔网路)，主要思想是跨尺度融合 (Cross-Scale Connections) 以及加权特征融合 (Weighted Feature Fusion)

问题定义

给定一组多尺度特征，其中表示第层的特征。我们的目标是找到一个变换能够有效的聚合不同的特征，输出新的一组特征。例如图2(a)所示，它是一个经典的top-down FPN结构，此时有，其中表示输入图像大小的特征图。例如，当输入大小为时，level 3特征图大小为，level 7特征图大小为。经典的FPN以top-down形式聚合多尺度特征的方式可以用下面方程表示：

其中，Resize通常是一个上采样或者下采样操作，使得分辨率对齐。