【Focal Net】NeuralPS2022 论文+代码解读 Focal Modulation Networks

Focal Modulation Networks

1. 资源链接

论文链接-arxiv
官方代码-github
官方博客-microsoft

2. 摘要

该论文提出了一个Focal Modulaiton network，将自注意力机制替换成focal modulation（聚焦调制）。这种机制包括3个组件：1）通过depth-wise Conv提取分级的上下文信息，同时编码短期和长期依赖。2）门控聚合，基于每个token的内容选择性的聚集视觉上下文。3）通过点乘或者仿射变换将汇聚的上下文信息注入query。
Focal Net 主要是在block中加入了Mulit-level 的特征融合机制，类似于目标检测中很常见的 FPN结构，同时学习粗粒度的空间信息和细粒度的特征信息，提高网络的性能。该网络做为新型的backbone，在分类，分割，目标检测，实例分割等任务上都取得了非常好的效果，尤其是基于DETR 框架的检测算法在COCO上取得了新的SOTA结果。

3. 结果

从下图可以看到，基于FocalNet的检测算法模型相对较小，训练数据也比较少，性能却有提高。

4. 特征可视化

从门控信号可视化可以看到，正如文章宣称的，不同level的特征可以注意到图像中不同的区域，包括图像局部特征区域和全局空间信息。

6. 和自注意力机制对比

6.1 定性分析

相比于自监督，FocalModulation 的输出关注了多尺度的上下文,算子更轻量化。

6.2 结构差异

自注意力中，key和qury是密集的矩阵相乘，Attention也是和value的密集矩阵乘积。而FocalNet中分别采用Depth-Wise Conv和Point-Wise Conv，计算更轻量化。

7核心代码

Focal Modulation代码

class FocalModulation(nn.Module):
    def __init__(self,
                 dim,
                 focal_window,
                 focal_level,
                 focal_factor=2,
                 bias=True,
                 proj_drop=0.,
                 use_postln=False):
        super().__init__()
        self.dim = dim
        self.focal_window = focal_window