1.CBAM简介
论文:CBAM: Convolutional Block Attention
Module
提出了一个简单但有效的注意力模块 CBAM,给定一个中间特征图,沿着空间和通道两个维度依次推断出注意力权重,然后与原特征图相乘来对特征进行自适应调整。由于 CBAM 是一个轻量级的通用模块,它可以无缝地集成到任何 CNN 架构中,额外开销忽略不计,并且可以与基本 CNN 一起进行端到端的训练。在不同的分类和检测数据集上,将 CBAM 集成到不同的模型中后,模型的表现都有了一致的提升,展示了其广泛的可应用性。
CBAM可以分为两个部分:通道注意力模块和空间注意力模块,如下图所示。
- 通道注意力模块:关注什么(what)的特征有意义
输入一个特征图F为HWC(实际中可能还有batch,即NHWC),首先进行一个全局空间最大池化和平均池化,得到两个11C的descriptor。再将他们分别送入MLP(含有一个隐藏层),第一层神经元个数为C/r,第二层神经元个数为C。这个神经网络是共享(不太明白,是两个descriptor共享还是两层神经网络共享,应该是后者)。再将两个输出向量运用element-wise加法,经过sigmoid函数得到权重系数Mc。最后拿Mc与原来的特征F相乘得到新特征F‘ - 空间注意力模块:关注哪里(where)的特征有意义
输入特征图F’为HWC(同样可能有batch),首先经过通道平均池化和最大池化得到两个HW1的描述子,并按通道拼接。然后经过一个7*7的卷积层和sigmoid激活函数,得到权重系数Ms。最后拿Ms与F‘相乘得到最终注意力特征。
2.代码实现
看完上面的过程就很容易理解代码的实现,这里放两份代码。一份是参考这个博主的代码,另外一份是Github:kobiso/CBAM-tensorflow。
代码一:
def combined_static_and_dynamic_shape(tensor):
"""Returns a list containing static and dynamic values for the dimensions. Returns a list of static
and dynamic values for shape dimensions. This is useful to preserve static shapes when available in reshape operation.
Args: tensor: A tensor of any type.
Returns: A list of size tensor.shape.ndims containing integers or a scalar tensor. """
static_tensor_shape = tensor.shape.as_list()
dynamic_tensor_shape = tf.shape(tensor)
combined_shape = []
for index, dim in enumerate(static_tensor_