BoTNet（CVPR 2021）速读

paper：Bottleneck Transformers for Visual Recognition

third-party implementation：https://github.com/huggingface/pytorch-image-models/blob/main/timm/layers/bottleneck_attn.py

出发点

传统的CNN通过堆叠多个卷积层来捕捉特征的全局依赖，但这种方法需要大量的计算资源。自注意力机制（如Transformer）在自然语言处理（NLP）任务中已被证明能有效建模长距离依赖，且计算效率高。因此，本文提出了一种结合卷积和自注意力的混合架构BoTNet，通过在ResNet的最后三个瓶颈块中引入多头自注意力（MHSA），在不显著增加计算开销的情况下，显著提升了实例分割和目标检测的性能。

创新点

本文的创新点就是自注意力与卷积的结合，将ResNet最后三个bottleneck block中的3x3卷积用多头自注意力层替代，这种简单的替换不仅提高了性能，还保持了较低的计算开销。

下图左边是原始的ResNet Bottleneck结构，将中间的3x3卷积替换为MHSA就得到了Bottleneck Transformer。

多头自注意力的结构如下图所示，和ViT中采用绝对位置编码的MHSA相比，这里采用了相对位置编码。

下表是ResNet-50和BoTNet-50的网络配置，只替换了c5中的3个bottleneck中的3x3卷积。

实验结果

表2是ResNet-50和BoTNet-50作为backbone，Mask R-CNN在COCO数据集上实例分割的效果比较。其中ResNet-50在ImageNet上进行了预训练，而BoTNet-50相比ResNet-50替换的层随机初始化其它不变的层也是采用在ImageNet上的预训练权重。可以看到在不同的训练epoch数下，BoTNet-50的表现都优于ResNet-50。