对于注意力机制的个人理解:
- 网络越深、越宽、结构越复杂,注意力机制对网络的影响就越小。
- 在网络中加上CBAM不一定带来性能上的提升,对性能影响因素有数据集、网络自身、注意力所在的位置等等。
- 建议直接在网络中加上SE系列,大部分情况下性能都会有提升的。
CBAM的 解析:
heu御林军:CBAM:卷积注意力机制模块zhuanlan.zhihu.com贴出一些和SE相关的:
初识CV:SE-Inception v3架构的模型搭建(keras代码实现)zhuanlan.zhihu.com源码位置:
初识CV:ResNet_CBAM源码zhuanlan.zhihu.com第一步:找到ResNet源代码
在里面添加通道注意力机制和空间注意力机制
所需库
import torch.nn as nn
import math
try:
from torch.hub import load_state_dict_from_url
except ImportError:
from torch.utils.model_zoo import load_url as load_state_dict_from_url
import torch