一、论文理论
上采样操作表示为每个位置的上采样核和输入特征图中对应邻域的像素做点积,称之为特征重组。 CARAFE 在重组时可以有较大的感受野,会根据输入特征来指导重组过程,同时整个算子比较轻量级。首先利用输入特征图来预测上采样核,每个位置的上采样核是不同的,然后基于预测的上采样核来进行特征重组。在不同的任务中,CARAFE 都取得了明显的提升,同时仅带来很小的额外参数和计算量。
论文地址:CARAFE: Content-Aware ReAssembly of FEatures
1.理论思想
在每个位置利用底层内容信息预测重组核,并在预定义的附近范围进行特征重组,使其在不同位置自适应优化重组核。
2.创新点
操作过程:
(1)预测每个目标位置的重组核,再用预测的核重组特征
(2)核预测模块根据输入特征的内容生成特定位置的核,内容感知重组模块