注意力机制的两种模块SEblock 和 CBAM模块

最新推荐文章于 2024-06-25 15:01:28 发布
最新推荐文章于 2024-06-25 15:01:28 发布
阅读量1.1w 收藏 99
点赞数 6
分类专栏： 深度学习理解篇
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qxqsunshine/article/details/107674167
版权 
1.SENet模块
def SE_moudle(input_xs,reduction_ratio = 16.):
    shape = input_xs.get_shape().as_list()
    se_module = tf.reduce_mean(input_xs,[1,2])
    #第一个Dense：shape[-1]/reduction_ratio：即把input_channel再除以reduction_ratio，使channel下降到指定维度数
    se_module = tf.keras.layers.Dense(shape[-1]/reduction_ratio,activation=tf.nn.relu)(se_module)
    #第二个Dense：重新回升到与input_channel相同的原始维度数
    se_module = tf.keras.layers.Dense(shape[-1], activation=tf.nn.relu)(se_module)
    se_module = tf.nn.sigmoid(se_module)
    se_module = tf.reshape(se_module,[-1,1,1,shape[-1]])
    out_ys = tf.multiply(input_xs,se_module)
    return out_ys
2.加载SENet模块的Resnet

 

def identity_block(input_xs, out_dim, with_shortcut_conv_BN=False):
    if with_shortcut_conv_BN:
        pass
    else:
        #返回与input的形状和内容均相同的张量，即shortcut等同于input_xs
        shortcut = tf.identity(input_xs)
    #input输入的channel数
    input_channel = input_xs.get_shape().as_list()[-1]
    #如果输入的channel数不等于输出的channel数的话
    if input_channel != out_dim:
        #求输出的channel数减去输入的channel数的绝对值，作为pad填充值
        pad_shape = tf.abs(out_dim - input_channel)
        #name="padding"表示给该填充操作赋予名称为"padding"。使用了默认参数mode='CONSTANT'和constant_values=0，表示填充默认值0。
        #第二个参数为paddings填充的形状：即分别的批量维度、高、宽的维度上都不作填充，在channel维度上填充pad_shape//2的数量。
        shortcut = tf.pad(shortcut, [[0, 0], [0, 0], [0, 0], [pad_shape // 2, pad_shape // 2]], name="padding")
    #残差卷积块中的3个Conv2D卷积的卷积核大小分别为1x1、3x3、1x1
    conv = tf.keras.layers.Conv2D(filters=out_dim // 4, kernel_size=1, padding="SAME", activation=tf.nn.relu)(input_xs)
    conv = tf.keras.layers.BatchNormalization()(conv)
    conv = tf.keras.layers.Conv2D(filters=out_dim // 4, kernel_size=3, padding="SAME", activation=tf.nn.relu)(conv)
    conv = tf.keras.layers.BatchNormalization()(conv)
    conv = tf.keras.layers.Conv2D(filters=out_dim // 4, kernel_size=1, padding="SAME", activation=tf.nn.relu)(conv)
    conv = tf.keras.layers.BatchNormalization()(conv)
    #下面开始加载SENet模块
    #返回的为[批量维度、高、宽、channel维度]
    shape = conv.get_shape().as_list()
    #默认参数为keepdims=False的话，不会再保留运算所在的维度。设置keepdims=True的话，会保留运算所在的维度为1。
    #[批量维度、高、宽、channel维度]经过reduce_mean后转换为[批量维度、channel维度]
    se_module = tf.reduce_mean(conv, [1, 2])
    #第一个Dense：shape[-1]/reduction_ratio：即把input_channel再除以reduction_ratio，使channel下降到指定维度数
    se_module = tf.keras.layers.Dense(shape[-1] / 16, activation=tf.nn.relu)(se_module)
    #第二个Dense：重新回升到与input_channel相同的原始维度数
    se_module = tf.keras.layers.Dense(shape[-1], activation=tf.nn.relu)(se_module)
    se_module = tf.nn.sigmoid(se_module)
    #把[批量维度、channel维度]重新转换为[批量维度、高、宽、channel维度]，即[批量维度、1、1、channel维度]
    se_module = tf.reshape(se_module, [-1, 1, 1, shape[-1]])
    #multiply元素乘法：SENet模块输出值se_module 和 残差卷积输出conv(即SENet模块输入值conv)
    se_module = tf.multiply(conv, se_module)
    #残差连接：对残差的原始输入shortcut(即input_xs) 与 SENet模块输出值se_module 进行求和
    output_ys = tf.add(shortcut, se_module)
    output_ys = tf.nn.relu(output_ys)
    return output_ys

3. CBAM模块

def cbam_module(input_xs, reduction_ratio=0.5):
    #分别获取批量大小、通道数，通道数作为隐藏层的神经元数量
    batch_size, hidden_num = input_xs.get_shape().as_list()[0], input_xs.get_shape().as_list()[3]
    ### 第一步：Channel Attention 模块 ###
    #1.默认参数为keepdims=False的话，不会再保留运算所在的维度。设置keepdims=True的话，会保留运算所在的维度为1。
    #  连续两次的reduce_max/reduce_mean，实际都是先将[批量维度、高、宽、channel维度]转换为[批量维度、1、宽、channel维度]，
    #  再转换为[批量维度、1、1、channel维度]。
    #2.首先对Channel Attention 模块的输入数据分别进行全局池化(reduce_max)和平均池化(reduce_mean)两种操作。
    maxpool_channel = tf.reduce_max(tf.reduce_max(input_xs, axis=1, keepdims=True), axis=2, keepdims=True)
    avgpool_channel = tf.reduce_mean(tf.reduce_mean(input_xs, axis=1, keepdims=True), axis=2, keepdims=True)
    maxpool_channel = tf.keras.layers.Flatten()(maxpool_channel)
    avgpool_channel = tf.keras.layers.Flatten()(avgpool_channel)
    #使用2个连续的全连接层对全局池化(reduce_max)后的特征进行提取。
    #reduction_ratio为0.5，即第1个全连接层的神经元数量为输入数据的输入数据的通道数的一半，然后第2个全连接层神经元数量重新恢复为输入数据的通道数
    mlp_1_max = tf.keras.layers.Dense(units=int(hidden_num * reduction_ratio), activation=tf.nn.relu)(maxpool_channel)
    mlp_2_max = tf.keras.layers.Dense(units=hidden_num)(mlp_1_max)
    #[批量维度、1、1、channel维度]，此处的隐藏层的神经元数量hidden_num等于输入数据的通道数
    mlp_2_max = tf.reshape(mlp_2_max, [-1, 1, 1, hidden_num])
    #使用2个连续的全连接层对平均池化(reduce_mean)后的特征进行提取。
    #reduction_ratio为0.5，即第1个全连接层的神经元数量为输入数据的输入数据的通道数的一半，然后第2个全连接层神经元数量重新恢复为输入数据的通道数
    mlp_1_avg = tf.keras.layers.Dense(units=int(hidden_num * reduction_ratio), activation=tf.nn.relu)(avgpool_channel)
    mlp_2_avg = tf.keras.layers.Dense(units=hidden_num, activation=tf.nn.relu)(mlp_1_avg)
    #[批量维度、1、1、channel维度]，此处的隐藏层的神经元数量hidden_num等于输入数据的通道数
    mlp_2_avg = tf.reshape(mlp_2_avg, [-1, 1, 1, hidden_num])
    #把“对全局池化(reduce_max)提取后的”特征和“对平均池化(reduce_mean)提取后的”特征进行求和，然后通过sigmoid激活归一化到0到1之间
    channel_attention = tf.nn.sigmoid(mlp_2_max + mlp_2_avg)
    #把“通过sigmoid激活归一化的”值和Channel Attention 模块的输入数据进行内积计算，其最终计算结果值作为后面的Spatial Attention 模块的输入
    channel_refined_feature = input_xs * channel_attention

    ### 第二步：Spatial Attention 模块 ###
    #1.首先把Channel Attention 模块的输出作为Spatial Attention 模块的输入，然后对输入数据分别进行全局池化(reduce_max)和平均池化(reduce_mean)两种操作。
    #2.默认参数为keepdims=False的话，不会再保留运算所在的维度。设置keepdims=True的话，会保留运算所在的维度为1。
    #3.全局池化(reduce_max)：把[批量维度、高、宽、channel维度]转换为[批量维度、高、宽、1]
    maxpool_spatial = tf.reduce_max(channel_refined_feature, axis=3, keepdims=True)
    #平均池化(reduce_mean)：把[批量维度、高、宽、channel维度]转换为[批量维度、高、宽、1]
    avgpool_spatial = tf.reduce_mean(channel_refined_feature, axis=3, keepdims=True)
    #把全局池化(reduce_max)和平均池化(reduce_mean)后的数据在channel维度上进行合并，最终转换为[批量维度、高、宽、2]
    max_avg_pool_spatial = tf.concat([maxpool_spatial, avgpool_spatial], axis=3)
    #目的是将数据的维度降维为1，以便后面的sigmoid激活归一化计算
    conv_layer = tf.keras.layers.Conv2D(filters=1, kernel_size=(3, 3), padding="same", activation=None)(max_avg_pool_spatial)
    #通过sigmoid激活归一化到0到1之间
    spatial_attention = tf.nn.sigmoid(conv_layer)
    #将Spatial Attention 模块的输出channel_refined_feature 和Spatial Attention 模块的输出spatial_attention 进行内积计算，
    #其最终计算结果值作为CBAM注意力机制模块的输出值。
    refined_feature = channel_refined_feature * spatial_attention
    #将CBAM注意力机制模块的输入值input_xs和输出值refined_feature进行求和得出最终的结果
    output_layer = refined_feature + input_xs
    return output_layer

4.加载了CBAM模块的Resnet

def identity_block(input_xs, out_dim, with_shortcut_conv_BN=False):
    layer_depth=20 #层的深度
    if with_shortcut_conv_BN:
        pass
    else:
        #返回与input的形状和内容均相同的张量，即shortcut等同于input_xs
        shortcut = tf.identity(input_xs)
    #input输入的channel数
    input_channel = input_xs.get_shape().as_list()[-1]
    #如果输入的channel数不等于输出的channel数的话
    if input_channel != out_dim:
        #求输出的channel数减去输入的channel数的绝对值，作为pad填充值
        pad_shape = tf.abs(out_dim - input_channel)
        #name="padding"表示给该填充操作赋予名称为"padding"。使用了默认参数mode='CONSTANT'和constant_values=0，表示填充默认值0。
        #第二个参数为paddings填充的形状：即分别的批量维度、高、宽的维度上都不作填充，在channel维度上填充pad_shape//2的数量。
        shortcut = tf.pad(shortcut, [[0, 0], [0, 0], [0, 0], [pad_shape // 2, pad_shape // 2]], name="padding")
    #残差卷积块中的3个Conv2D卷积的卷积核大小分别为1x1、3x3、1x1
    conv = tf.keras.layers.Conv2D(filters=out_dim // 4, kernel_size=1, padding="SAME", activation=tf.nn.relu)(input_xs)
    conv = tf.keras.layers.BatchNormalization()(conv)
    conv = tf.keras.layers.Conv2D(filters=out_dim // 4, kernel_size=3, padding="SAME", activation=tf.nn.relu)(conv)
    conv = tf.keras.layers.BatchNormalization()(conv)
    conv = tf.keras.layers.Conv2D(filters=out_dim // 4, kernel_size=1, padding="SAME", activation=tf.nn.relu)(conv)
    conv = tf.keras.layers.BatchNormalization()(conv)
    conv = tf.layers.conv2d(conv, out_dim, [1, 1], strides=[1, 1], kernel_initializer=tf.variance_scaling_initializer,
                  bias_initializer=tf.zeros_initializer, name="conv{}_2_1x1".format(str(layer_depth)))
    conv = tf.layers.batch_normalization(conv)
    # ResNet中加载的CBAM模块
    conv = cbam_module(conv)
    #残差连接：对残差的原始输入shortcut(即input_xs) 与 CBAM模块输出值conv进行求和
    output_ys = shortcut + conv
    output_ys = tf.nn.relu(output_ys)
    return output_ys

 

qxq_sunshine
关注
  • 6
    点赞
  • 踩
  • 99
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
SENET与 CBAM 注意力机制
weixin_45086338的博客
08-04 1373
原文链接：https://blog.csdn.net/xu380393916/article/details/109304082 一、SENET SENET是2017年的世界冠军，SE全称Squeeze-and-Excitation是一个模块，将现有的网络嵌入SE模块的话，那么该网络就是SENet，它几乎可以嵌入当前流行的任何网络，那么为什么会引出这个东西呢，来看下图： SE结构 一个SEblock的过程分为 Squeeze(压缩) 和 Excitation(激发) 两个步骤： Squeeze(压缩) 通
SE、CBAM、ECA注意力机制（网络结构详解+详细注释代码+核心思想讲解+注意力机制优化神经网络方法）——pytorch实现
热门推荐
爱吃橘子的小翟
05-13 3万+
这期博客我们来学习一下神秘已久的注意力机制，刚开始接触注意力机制的时候，感觉很有意思，事实上学会之后会发现比想象中的要简单，复杂的注意力机制后续会讲解，这期博客先讲解最常见的三种SE、CBAM、ECA注意力机制。
【6-2】YOLOv10添加【CoTAttention】【SimAM】【SKAttention】等注意力机制 【超30种先进模块随心选】【注意力机制篇】
最新发布
up主为在读研究生，从事cv研究4余年，绝对靠谱。
06-25 1013
本文接续上文介绍YOLOv10如何添加其他先进注意力机制。超30种注意力机制模块，助力文章涨点多多🚀🚀BAM于2018年提出，是一种轻量级的注意力机制，用于提高卷积神经网络的性能。它通过在网络中加入注意力模块来增强网络对重要特征的关注，忽略不重要的信息，从而提升整体表现。BAM的优点轻量级：BAM模块在计算上非常高效，不会显著增加模型的计算复杂度和参数量。兼容性好：BAM可以很容易地嵌入到现有的各种卷积神经网络架构中，提升它们的性能。
SENET&CBAM
buziran的专栏
03-11 2720
https://mp.csdn.net/postedit SENET 一个feature map经过一系列卷积池化得到的feature map，每个通道的重要程度还是不一样的，也就是说每个通道其实还应该有一个重要性权值才行，然后每个通道的重要性权值乘以每个通道原来的值，就是我们求的真正feature map，这个feature map不同的通道重要性不一样（可能权值大的乘以原来的数要大些）...
分组卷积、SEnet模块、CBAM模块
sinat_42247418的博客
02-25 3729
分组卷积、SEnet模块、CBAM模块
深度学习之卷积网络attention机制SENET、CBAM模块原理总结
weixin_33602281的博客
12-23 1万+
SENET SENET是2017年的世界冠军，SE全称Squeeze-and-Excitation是一个模块，将现有的网络嵌入SE模块的话，那么该网络就是SENet，它几乎可以嵌入当前流行的任何网络，那么为什么会引出这个东西呢，来看下图： 一个feature map经过一系列卷积池化得到的feature map，通常我们认为这个得到的feature map的每个通道都是同样重要的，我们并没有分那...
SE block
weixin_42731794的博客
03-11 713
2018发表，2017年获得了分类大赛的冠军即插即用模块。论文出发点或背景：卷积神经网络注重抽取一些特征，用局部感受野来融合空间和通道信息来获取信息。为了促进网络的表达力，。为了关注通道关系并提出了一个新架构，就叫SE block。。（不太理解）原文：that adaptively recalibrates channel-wise feature responses by explicitly modelling interdependencies between channels.
CBAM注意力机制（MatLab代码实现）
02-29
CBAM注意力机制（MatLab代码实现）
CBAM注意力机制.py
08-05
keras实现CBAM注意力机制模块
CBAM注意力机制代码，以及如何对yolov5进行改进
12-06
2. 定义CBAM模块，包括通道注意力和空间注意力的子模块。 3. 在YOLOv5模型的定义中，将CBAM模块插入到合适的卷积层后，例如`nn.Conv2d`之后。 4. 编译和训练模型时，确保CBAM模块的参数也能被优化。 在实际应用中，...
将convnext加入CBAM注意力.zip
02-06
CBAM模块由两部分组成：通道注意力和空间注意力。通道注意力机制考虑了不同通道（即特征图的不同颜色通道或滤波器）的重要性，通过全局平均池化和全局最大池化获取每个通道的全局信息，然后通过全连接层学习通道之间...
SEBlock.github.io
05-13
SEBlock.github.io
各种图像注意力模块的实现.zip
01-12
CBAM结合了通道注意力和空间注意力，分别对特征图的通道维度和空间维度进行加权，提升模型的表征能力。 3. **Non-local注意力模块**：由Wang等人在2018年的《Non-local Neural Networks》中提出。非局部模块考虑了...
视觉注意力机制——SENet、CBAM、SKNet
frighting_ing的博客
11-19 1万+
注意力机制(Attentional Mechanism) 通常将软注意力机制中的模型结构分为三大注意力域来分析： 空间域 空间域——将图片中的的空间域信息做对应的空间变换，从而能将关键的信息提取出来。对空间进行掩码的生成，进行打分，代表是Spatial Attention Module。 通道域 通道域——类似于给每个通道上的信号都增加一个权重，来代表该通道与关键信息的相关度的话，这个权重越大，则表示相关度越高。对通道生成掩码mask，进行打分，代表是senet, Channel Attention Mo
视觉Attention之SENet和CBAM概述
jackzhang11的博客
10-21 2675
Attention最早出现于NLP中，随着不断的发展，cv中对Attention的应用不断增加，早期两个比较经典的视觉Attention机制分别是SENet和CBAM，分别在17年和18年的大赛中夺魁，本文即对两种算法进行简单的介绍。 SENet 我们可以通过卷积得到feature map，SENet认为这个feature map中每个通道的重要程度是不一样的，应该给其分配权值，即代表每个通道各自的重要程度，具体的结构示意图如下： 在传统的Inception模型的基础上，增加上述module。假设输入是一
SE Block （Sequeze and Excitation）
bl128ve900的博客
06-26 2万+
看senet block的代码，明白如何实现 def Squeeze_excitation_layer(self, input_x, out_dim, ratio, layer_name): with tf.name_scope(layer_name) : squeeze = Global_Average_Pooling(input_x)#对每...
通道注意力机制SEblock
weixin_43577679的博客
03-16 6154
对于任何给定的变换，例如卷积或一组卷积操作，都可以添加一个相应的挤压和激励模块（Squeeze-and-Excitation block）[14] 用于重新校准特征。 如图1所示，特征U首先经过一次挤压(squeeze)操作，通过在空间维度上整合特征图的方式，生成一个通道描述符。该描述符中嵌入了通道特征响应的全局分布，目的在于帮助网络更低层利用来自全局感受野的信息。之后进行一次激励(exciation)操作，通过基于通道间依赖性的自门限机制(self-gating mechanism)来考察各通道间的依赖
SE Block 在特定情况可能会产生的害处（未使用专门实验验证，仅记录）
ONE_SIX_MIX的专栏
07-20 844
（未使用专门实验验证，仅记录，有空再专门弄个实验验证） 记录下实验情况。 模型结构 模型中每个残差块的特征提取分支末端均加了 SEBlock。 训练输入图像特点：亮度比较高的图像，如下面这种 验证输入图像特点：原始亮度较高，但填充了一大块黑色区域的图像，如下面这种 训练中，图像增强过程中，没有做过添加大块黑色区域的增强。 训练后， 如果输入图1，模型能正常输出概率热图（有细胞核的地方将会输出1.0概率值）。 如果输入图2，概率热图左边那块区域的热图的概率值将会大幅度下降，约为0.1，接近全黑。 如果将图
【深度学习经典网络架构—8】：注意力机制之SE_Block
王乐予的博客
03-24 1万+
😺一、引言 类似于人脑的注意力感知，那卷积神经网络能否也能产生注意力效果呢？答案是：**可以！** **SE_Block是SENet的子结构**，作者将SE_Block用于ResNeXt中，并在ILSVRC 2017大赛中拿到了分类任务的第一名，在ImageNet数据集上将top-5 error降低到2.251%，比2016年的最好成绩提高了约25%。 论文链接：[Squeeze-and-Excitation Networks](https://arxiv.org/abs/1709.01507) 开源
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值