YOLOv5/v7 应用轻量级通用上采样算子CARAFE

简介

在目标检测模型中，特征融合是至关重要的一步，它将来自不同尺度的特征进行融合，以获得更丰富的语义信息和更强的表达能力。传统的 YOLOv5 和 YOLOv7 模型使用最近邻插值作为上采样方式来进行特征融合，但这种方法存在精度较低、易产生伪影等问题。

为了提高特征融合的精度，本文提出了一种新的方案，即使用CARAFE（Content-Aware ReAssembly of FEatures）来替换 YOLOv5 和 YOLOv7 中的最近邻插值。CARAFE 是一种轻量级的通用上采样算子，它可以利用输入特征图的内容信息来指导上采样过程，从而生成更加精细的特征图。

原理详解

CARAFE 的工作原理是利用输入特征图预测每个位置的上采样核，然后使用这些上采样核对特征图进行重组。具体来说，CARAFE 的主要步骤如下：

1. 特征重组核预测: 利用输入特征图预测每个位置的上采样核。CARAFE 使用了一个卷积层来预测上采样核，该卷积层的核大小和输入特征图的通道数相同。
2. 特征重组: 使用预测的上采样核对特征图进行重组。CARAFE 使用了一个元素级的乘法操作来将上采样核与输入特征图相乘，然后使用一个卷积层对结果进行融合。

CARAFE 的主要优点如下：

• 大的视野: 与以前只利用亚像素邻域的工作&