Dynamic Head :Unifying Object Detection Heads with Attentions

Dynamic Head :Unifying Object Detection Heads with Attentions

 作者针对目标检测中通过backbone提取特征金字塔后的输出后，会形成最基本的这种情况${\mathbb{R}}^{L\times H\times W\times C}$,其中L代表金字塔输有多少层特征图，H和W代表特征图的高和宽,C代表特征图的通道.本文提出的就是分别在每一个维度上都分别应用注意力,然后进行嵌套堆砌,用公式表示为如下

Scale-aware Attention

基于语义的重要程度动态的融合不同尺度的特征

即在一层上进行空间和通道上面的全部求和,然后进行(1*1)卷积(相当于一个线性函数),最后进行$\sigma$函数操作(相当于一个hard-sigmoid 函数).

Spatial-aware Attention 这部分作者说的很不详细,需要看一下代码.

在尺度注意的基础上,通过使用可变形卷积对位置的重要性进行学习

 其中$K是稀疏采样点的数量,\Delta p_k是学习到到偏移位置,\Delta m_k是自学习到的在p_k的重要性标量$

Task-aware Attention

动态的开关特征通道来有利于不同的任务的学习.

 $$\begin{gathered} \theta 函数首先通过池化变成C\ast 1的向量,然后进行两层fc中间加一个激活函数后变成四个, \\ 这四个值通过偏移sigmoid归一化后变成(-1,1)的范围, \\ 再和(1,0,0,0)想加后得到最终的{\alpha }_1{\alpha }_2{\beta }_1{\beta }_2再通过上面的max函数来控制每一个通道的输出 \end{gathered}$$

下面是整体的应用