注意力机制代码_pytorch中加入注意力机制(CBAM),以ResNet为例

本文介绍了如何在ResNet网络中添加CBAM注意力机制,重点关注通道和空间注意力的实现,并强调了在不改变网络结构的前提下,CBAM应用于预训练模型的注意事项。虽然注意力机制的效果受多种因素影响,但通常能提升模型性能,特别是SE系列模块。
摘要由CSDN通过智能技术生成

f6297f0fab49e4165b292c9ae57b85a2.png

对于注意力机制的个人理解:

  1. 网络越深、越宽、结构越复杂,注意力机制对网络的影响就越小。
  2. 在网络中加上CBAM不一定带来性能上的提升,对性能影响因素有数据集、网络自身、注意力所在的位置等等。
  3. 建议直接在网络中加上SE系列,大部分情况下性能都会有提升的。

CBAM的 解析:

heu御林军:CBAM:卷积注意力机制模块​zhuanlan.zhihu.com
1a6036de80fbcfc5756f0b3f9d200dc9.png

贴出一些和SE相关的:

初识CV:SE-Inception v3架构的模型搭建(keras代码实现)​zhuanlan.zhihu.com
f35aeae41d4be67943c9fa0e56437459.png
PyTorch Hub发布!一行代码调用所有模型:torch.hub​blog.csdn.net
a8466d3f73882951f3f91663862dff68.png

源码位置:

初识CV:ResNet_CBAM源码​zhuanlan.zhihu.com
d9ce040e6f4cd5a8f7c2f21b052106ab.png

第一步:找到ResNet源代码

在里面添加通道注意力机制和空间注意力机制

所需库

import torch.nn as nn
import math
try:
    from torch.hub import load_state_dict_from_url
except ImportError:
    from torch.utils.model_zoo import load_url as load_state_dict_from_url
import torch

通道注意力机制<

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值