『论文笔记』BAM:Bottleneck Attention Module(注意力机制)+TensorFlow2.0复现!

本文介绍Bottleneck Attention Module (BAM),一种用于深度神经网络的注意力模块,由通道和空间注意力机制组成。通过在TensorFlow2.0中复现论文,BAM能在各种模型上提升分类和检测性能,适用于CIFAR-100、ImageNet-1K等数据集。
摘要由CSDN通过智能技术生成
BAM:Convolutional Block Attention Module(注意力机制)+TensorFlow2.0复现!

  • 本论文是上篇CBAM的姊妹篇,原班人马打造,论文地址:CBAM&#
BAM是基于注意力机制的一种网络模型,用于提高模型的性能。BAM模块应用于深度学习模型的瓶颈处,可以分别从通道和空间两个方面对输入进行注意力机制的处理。通道注意力机制可以学习不同通道之间的关系,而空间注意力机制可以学习图像不同位置之间的区别,从而提高模型的鲁棒性和泛化能力。BAM模块的应用可以有效地提高网络的性能,增强模型的特征表达能力,减少计算量,加快网络的收敛速度。 以下是BAM模块的实现示例代码[^1]: ```python import torch.nn as nn import torch class ChannelAttention(nn.Module): def __init__(self, in_planes, ratio=16): super(ChannelAttention, self).__init__() self.avg_pool = nn.AdaptiveAvgPool2d(1) self.max_pool = nn.AdaptiveMaxPool2d(1) self.fc1 = nn.Conv2d(in_planes, in_planes // 16, 1, bias=False) self.relu1 = nn.ReLU() self.fc2 = nn.Conv2d(in_planes // 16, in_planes, 1, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = self.fc2(self.relu1(self.fc1(self.avg_pool(x)))) max_out = self.fc2(self.relu1(self.fc1(self.max_pool(x)))) out = avg_out + max_out return self.sigmoid(out) class SpatialAttention(nn.Module): def __init__(self, kernel_size=7): super(SpatialAttention, self).__init__() assert kernel_size in (3, 7), 'kernel size must be 3 or 7' padding = 3 if kernel_size == 7 else 1 self.conv1 = nn.Conv2d(2, 1, kernel_size, padding=padding, bias=False) self.sigmoid = nn.Sigmoid() def forward(self, x): avg_out = torch.mean(x, dim=1, keepdim=True) max_out, _ = torch.max(x, dim=1, keepdim=True) x = torch.cat([avg_out, max_out], dim=1) x = self.conv1(x) return self.sigmoid(x) class BAM(nn.Module): def __init__(self, in_planes): super(BAM, self).__init__() self.ca = ChannelAttention(in_planes) self.sa = SpatialAttention() def forward(self, x): out = self.ca(x) * x out = self.sa(out) * out return out ```
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI大模型前沿研究

感谢您的打赏,我会继续努力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值