Bottleneck Transformers for Visual Recognition
摘要
BoTNet是backbone,由自注意力机制组成
在Resnet最后三个bottleneck中用全局self-attention替代卷积
在COCO数据集上44.4%mask AP,49.7%Box AP,图像分类、实例分割、目标检测都有效
引言
提出的BoTNet为带有bottleneck结构的transformer块
在视觉领域使用self-attention有两个问题:1,图片太大 怎么输进去;2,存储与计算太大,训练负担大
想到的方法:
- 使用卷积提取低分辨率特征图;
- 在特征图上用self-attention
只在Resnet最后三个bottleneck中用全局self-attention替代卷积
结论
表达了未来展望,如在大的数据集上使用
相关工作
本章将BoTNet对比了transformer、DETR、Non-Local