使用tensorflow-gpu 1.x实现CBAM注意力机制,tensorflow-gpu 1.9环境分享,安装迅速。

1 CBAM的原理和pytorch实现

具体请看这位大佬的文章,写的很好,并且给了完全可以运行的pytorch代码

【精选】CBAM——即插即用的注意力模块(附代码)_cbam模块_Billie使劲学的博客-CSDN博客

2 tensorflow 1.x的实现

就是上面的文章代码的tensorflow版本。

import tensorflow as tf
from tensorflow.keras.layers import Conv2D, Dense, GlobalAveragePooling2D, GlobalMaxPooling2D, Multiply, Reshape

class CBAMLayer(tf.keras.Model):
    def __init__(self, channel, reduction=16, spatial_kernel=7):
        super(CBAMLayer, self).__init__()
        self.channel = channel
        
        # Channel attention
        self.max_pool = GlobalMaxPooling2D()
        self.avg_pool = GlobalAveragePooling2D()
        
        self.mlp = tf.keras.Sequential([
            Dense(channel // reduction, use_bias=False),
            tf.keras.layers.Activation('relu'),
            Dense(channel, use_bias=False)
        ])
        
        # Spatial attention
        self.conv = Conv2D(1, (spatial_kernel, spatial_kernel), padding='same', use_bias=False)
        self.sigmoid = tf.keras.layers.Activation('sigmoid')

    def call(self, x):
        max_out = self.mlp(Reshape((1, 1, self.channel))(self.max_pool(x)))
        avg_out = self.mlp(Reshape((1, 1, self.channel))(self.avg_pool(x)))
        channel_out = self.sigmoid(max_out + avg_out)
        x = Multiply()([channel_out, x])

        max_out = tf.reduce_max(x, axis=3, keepdims=True)
        avg_out = tf.reduce_mean(x, axis=3, keepdims=True)
        spatial_out = self.sigmoid(self.conv(tf.concat([max_out, avg_out], axis=3)))
        x = Multiply()([spatial_out, x])
        return x

x = tf.random_normal((1, 32, 32, 1024))
net = CBAMLayer(1024)
y = net.call(x)
print(y.shape)

 环境是tensorflow 1.9 gpu版本。

具体环境文件分享出来。链接如下,里面是environment.yml文件。使用的话很简单。首先打开anaconda prompt切换到你下载的的文件的目录。然后运行下列代码。切换的话比如说你下载D盘。首先输入D: ,再输入cd 你的文件目录就好。

 conda env create -f environment.yml

运行一会后,环境创建完毕,名字是 tf_gpu1_5_py36,激活使用即可。

链接:https://pan.baidu.com/s/1FhFH1ls0UfmP-1roh1ad_w?pwd=oo2t 
提取码:oo2t 
--来自百度网盘超级会员V4的分享

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
GoogleNet是2014年谷歌公司提出的一个深度神经网络模型,也被称为Inception v1。它是一个非常复杂的模型,但是可以使用TensorFlow相对容易地实现。 GoogleNet的主要创新是使用了“Inception模块”,该模块可以在不增加参数数量的情况下提高模型的性能。下面是GoogleNet的基本结构: ![GoogleNet](https://miro.medium.com/max/1838/1*ZFPOSAted10TPd3hBQU8iQ.png) GoogleNet由多个Inception模块组成,每个模块包含多个卷积层和池化层,以及一些1x1卷积核的处理。使用1x1卷积核可以减少模型的计算量,同时保持模型的表现力。 下面是使用TensorFlow实现GoogleNet的代码: ```python import tensorflow as tf from tensorflow.keras.layers import Input, Conv2D, MaxPooling2D, Dropout, Dense, concatenate, AveragePooling2D, Flatten def inception_module(x, filters): # 1x1 Convolution path1 = Conv2D(filters=filters[0], kernel_size=1, activation='relu')(x) # 1x1 Convolution + 3x3 Convolution path2 = Conv2D(filters=filters[1], kernel_size=1, activation='relu')(x) path2 = Conv2D(filters=filters[2], kernel_size=3, padding='same', activation='relu')(path2) # 1x1 Convolution + 5x5 Convolution path3 = Conv2D(filters=filters[3], kernel_size=1, activation='relu')(x) path3 = Conv2D(filters=filters[4], kernel_size=5, padding='same', activation='relu')(path3) # 3x3 Max Pooling + 1x1 Convolution path4 = MaxPooling2D(pool_size=3, strides=1, padding='same')(x) path4 = Conv2D(filters=filters[5], kernel_size=1, activation='relu')(path4) # Concatenate all paths output = concatenate([path1, path2, path3, path4]) return output def create_model(input_shape, num_classes): inputs = Input(shape=input_shape) # First Convolution and Pooling Layers x = Conv2D(filters=64, kernel_size=7, strides=2, padding='same', activation='relu')(inputs) x = MaxPooling2D(pool_size=3, strides=2, padding='same')(x) # Second Convolution and Pooling Layers x = Conv2D(filters=64, kernel_size=1, strides=1, padding='same', activation='relu')(x) x = Conv2D(filters=192, kernel_size=3, strides=1, padding='same', activation='relu')(x) x = MaxPooling2D(pool_size=3, strides=2, padding='same')(x) # Inception Modules x = inception_module(x, [64, 96, 128, 16, 32, 32]) x = inception_module(x, [128, 128, 192, 32, 96, 64]) x = MaxPooling2D(pool_size=3, strides=2, padding='same')(x) x = inception_module(x, [192, 96, 208, 16, 48, 64]) x = inception_module(x, [160, 112, 224, 24, 64, 64]) x = inception_module(x, [128, 128, 256, 24, 64, 64]) x = inception_module(x, [112, 144, 288, 32, 64, 64]) x = inception_module(x, [256, 160, 320, 32, 128, 128]) x = MaxPooling2D(pool_size=3, strides=2, padding='same')(x) x = inception_module(x, [256, 160, 320, 32, 128, 128]) x = inception_module(x, [384, 192, 384, 48, 128, 128]) # Final Pooling and Output Layers x = AveragePooling2D(pool_size=7, strides=1, padding='valid')(x) x = Flatten()(x) outputs = Dense(units=num_classes, activation='softmax')(x) # Create Model model = tf.keras.Model(inputs=inputs, outputs=outputs) return model ``` 这个代码实现了GoogleNet的基本结构。需要注意的是,这里的实现使用了TensorFlow 2.0的Keras API,因此可以很方便地创建模型,并且使用各种优化器和损失函数进行训练。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值