史上最全采样方法详细解读与代码实现_CARAFE: 轻量级通用上采样算子

前言

这篇论文被 ICCV 2019 接收为 oral presentation。之前我们主要研究物体检测（例如 Hybrid Task Cascade，Guided Anchoring，Libra R-CNN 和 Prime Sample Attention），这次尝试跳出单纯的物体检测框架，解决一些通用模块和算子的问题。上采样操作是各种网络结构里广泛使用的运算之一，我们提出了一个轻量级的通用上采样算子 CARAFE（音[kə'ræf]），相对最近邻和双线性等上采样算子，在不同任务中都取得了显著的提升，同时只引入很少的参数量和计算代价。

【一分钟批阅版】

上采样操作可以表示为每个位置的上采样核和输入特征图中对应邻域的像素做点积，我们称之为特征重组。我们提出的上采样操作 CARAFE 在重组时可以有较大的感受野，会根据输入特征来指导重组过程，同时整个算子比较轻量级。具体来说，我们首先利用输入特征图来预测上采样核，每个位置的上采样核是不同的，然后基于预测的上采样核来进行特征重组。在不同的任务中，CARAFE 都取得了明显的提升，同时仅带来很小的额外参数和计算量。

【十分钟催眠版】

上采样的表示

我们将特征图的上采样运算看做是特征重组的过程。对于输出特征图中的每个像素点 L'，我们都可以找到它在输入特征图中的对应位置 L，L' 这个点的值可以表示成以输入特征图中以 L 为中心的一个邻域内的像素和一个上采样核的点积（加权和）。以双线性上采样为例，输出特征图中每个像素可以看作是一个 2x2 的上采样核和输入特征图中一个 2x2 的邻域的点积