每天一篇论文 285/365 BAM: Bottleneck Attention Module

BAM: Bottleneck Attention Module

CBAM: Convolutional Block Attention Module

这是一篇与CBAM同一作者的论文,CBAM在bottleneck内部,通过maxpooling和avgPool在基本网路中加入Channel attention和spatial attention,而BAM在每个Bottleneck 中加入channel 和 spatial attention.从理论上来说这种light-weight attention模块结构简单效果很好。可以很好的和其他网络如resnet,mobilenet融合。

摘要

深度神经网络的最新进展已经通过架构研究开发出来,以获得更强的代表能力。在这项工作中,我们关注一般深度神经网络中注意力的影响。我们提出了一个简单的有效注意模块,名为 Bottleneck Attention Module 注意模块(BAM),可以与任何前馈卷积神经网络集成。我们的模块沿着两个独立的路径,即通道和空间推荐注意力图。我们将模块置于模型的每个Bottleneck中,其中发生特征映射的下采样。我们的模块通过多个参数在Bottleneck瓶颈上构建层次关注,并且可以与前馈模型一起以端到端的方式进行训练。我们通过对CIFAR-100,ImageNet-1K,VOC 2007和MS COCO基准的广泛实验来验证我们的BAM。我们的实验表明,各种模型在分类和检测性能方面均得到了一致的改进,证明了BAM的广泛适用性。

方法

CBAM提出一种在卷积块之间借助SE-net (压缩和激励网络原理,先对全局特征进行压缩,然后再通过激励网络对重要特征进行提取)
在这里插入图片描述在这里插入图片描述
本文提出的BAM是在Bottleneck之间增加attention模块

在这里插入图片描述网络构造,在每个Bottleneck attention 增加

在这里插入图片描述##### 结果
在这里插入图片描述

发布了131 篇原创文章 · 获赞 10 · 访问量 7673
展开阅读全文

没有更多推荐了,返回首页

©️2019 CSDN 皮肤主题: 大白 设计师: CSDN官方博客

分享到微信朋友圈

×

扫一扫,手机浏览