【YOLOv8改进 - 特征融合】CARAFE：轻量级新型上采样算子，助力细节提升

YOLOv8目标检测创新改进与实战案例专栏

专栏目录： YOLOv8有效改进系列及项目实战目录 包含卷积，主干 注意力，检测头等创新机制 以及 各种目标检测分割项目实战案例

专栏链接: YOLOv8基础解析+创新改进+实战案例

介绍

摘要

特征上采样是许多现代卷积网络架构中的关键操作，例如特征金字塔。其设计对于密集预测任务（如目标检测和语义/实例分割）至关重要。在这项工作中，我们提出了内容感知特征重组（CARAFE），这是一种通用、轻量且高效的操作符，以实现这一目标。CARAFE 具有以下几个吸引人的特性：（1）大视野。与之前的工作（例如双线性插值）仅利用子像素邻域不同，CARAFE 可以在大的感受野内聚合上下文信息。（2）内容感知处理。与使用固定卷积核处理所有样本（例如反卷积）不同，CARAFE 允许特定实例的内容感知处理，能够即时生成自适应卷积核。（3）轻量且计算快速。CARAFE 引入的计算开销很小，可以轻松集成到现代网络架构中。我们在标准基准测试中进行了全面评估，涵盖了目标检测、实例/语义分割和图像修复等任务。CARAFE 在所有任务中都显示出一致且显著的提升（分别为 1.2% AP、1.3% AP、1.8% mIoU、1.1dB），且计算开销可以忽略不计。它有望成为未来研究的强大构建模块。代码和模型可在 https://github.com/open-mmlab/mmdetection 获取。

文章链接

论文地址：论文地址

代码地址：代码地址

复现代码参考：代码地址1

复现代码参考：代码地址2

基本原理

CARAFE（Content-Aware ReAssembly of FEatures） 是具备下面这些特性的上采样算子。

1. Large receptive field（大感受野）：可以更好地利用周围的信息。
2. Content-aware（内容感知）：上采样核应与特征图的语义信息相关，基于输入内容进行上采样。
3. Lightweight（轻量化）：不能引入过多的参数和计算量。

CARAFE 分为两个主要模块：上采样核预测模块和特征重组模块。假设上采样倍率为 $r$，给定一个形状