CBAM & BAM & DANet

最新推荐文章于 2025-01-17 14:41:39 发布

soaring flight

最新推荐文章于 2025-01-17 14:41:39 发布

阅读量2k

点赞数 2

分类专栏： attention

本文链接：https://blog.csdn.net/soarflight_ing/article/details/109994964

版权

注意力模块集合（CBAM & BAM & DANet）

论文：Convolutional Block Attention Module & Bottleneck Attention Module ,2018 & Dual Attention Network for Scene Segmentation, cvpr,2019

代码：CBAM&BAMcode DANet code

BAM

介绍

文中把重心放在了Attention对于一般深度神经网络的影响上，文中提出了一个简单但有效的Attention模型-BAM，它可以结合到任何前向传播的卷积神经网络中，该模型通过两个分离的路径channel 和spatial,得到一个Attention Map.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7k2lgBfu-1606112099088)(C:\Users\Mr.fei\AppData\Roaming\Typora\typora-user-images\image-20201115212401280.png)]

两种attention的结合方式

element-wise summation即逐元素相加perform是最好的。最后再通过sigmoid函数。具体可以参照下图：

需要注意的是图中的 **Mc(F)和Ms(F)**两者是相乘的，并且使用了sigmoid 进行归一化处理，最后得到 F ‘ ∈R^C∗H∗W 的注意力特征图，然后将F’ 和 F 进行逐元素相乘，并且逐元素相加。

CBAM

简介

作者提出了一个简单但有效的模块CBAM，给定一个中间特征图，我们沿着空间和通道两个维度依次推断出注意力权重，然后与原始特征图相乘来对特征进行自适应调整。由于CBAM是一个轻量级的通用模块，可以无缝的集成到任何CNN架构中，并且可以和CNN一起进行端到端的训练，在不同的分类和检测数据集上，将CBAM 集成到不同的模型中后，模型的表现都有了一定的提升，展示了其广泛的可用性。

CBAM总体视图