Spatial Attention model

最新推荐文章于 2024-06-11 22:12:13 发布
最新推荐文章于 2024-06-11 22:12:13 发布
阅读量1.7w 收藏 32
点赞数 11
分类专栏： 实例检索
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37717568/article/details/72779703
版权

    这个方法来自于论文：《Context Aware Query Image Representation for Particular Object Retrieval》

  

    在描述待查询图像时，很多方法都利用到了region或者proposal的概念，旨在提高图中object的显著性。

    在此文中，作者提出了一种Spatial Attention model，即空间注意力模型，来提高对图中object的注意力。

    

    1. saliency map

    假设卷积网络结构中，提取特征的layer产生的feature map大小为W*H*K。

    其中所有K层相同位置的激活值进行相加求和，形成W*H大小。

    之后进行归一化，使所有值介于[0,1]。

最低0.47元/天 解锁文章
王小胖儿
关注
  • 11
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
注意力机制可视化_ECCV2018 KAIST CBAM更精细的注意力机制
weixin_39564187的博客
12-03 1451
Paper Reading Note: CBAM: Convolutional Block Attention ModuleURL: http://openaccess.thecvf.com/content_ECCV_2018/papers/Sanghyun_Woo_Convolutional_Block_Attention_ECCV_2018_paper.pdf​openaccess.thecv...
A Co-Saliency Model of Image Pairs
02-21
The first term is designed to describe the local attention, which is computed by using three saliency detection techniques available in literature. To compute the MISM, a co-multilayer graph is ...
Spatial Attention和Channel Attention的个人理解
感谢一切无私开源共享奉献者！
11-13 1万+
最近师妹问我spatial attention和channel attention的问题，我查了一下，网上一堆资料讲的云里雾里的，这里对个人理解做一些笔记。这两种注意力机制结构如下： 注意力机制，其实就是模仿人关注Region of Interest的过程（可参考显著图Saliency map）。 接下来以RGB图片I(H,W)I_{(H, W)}I(H,W)​为简单例子说明这两种注意力机制，想象现在以RGB矩阵为特征图，这时特征图大小为(H,W,3)(H, W, 3)(H,W,3)。 空间注意力机制. 先
TemporalSelfAttention——时空注意力
最新发布
mybest4545的博客
06-11 1538
Args:"""类通过结合多尺度、多头注意力机制和时间序列信息，实现了复杂的特征融合和注意力计算。处理多帧特征：通过拼接当前帧和历史帧的特征，实现时间序列信息的融合。多尺度注意力：支持在多个尺度上进行注意力计算，从而捕捉多尺度的特征信息。采样偏移和位置计算：通过计算采样偏移和参考点的位置，灵活地从特征图中提取信息。灵活的维度处理：能够处理不同排列方式的输入张量，并在最终返回前调整到期望的维度。高效的注意力计算：支持 CUDA 加速的可变形注意力计算函数，提高了计算效率。通过这些机制，
注意力之spatial attention
weixin_42764932的博客
01-06 1万+
spatial attention channel attention是对通道加权，spatial attention是对spatial加权 Parameter-Free Spatial Attention Network for Person Re-Identification feature map 对通道求和获得H*W矩阵，然后reshape, softmax, reshape获得注意力矩阵。 CBAM: Convolutional Block Attention Module 既有channel
Convolutional Spatial Attention Model for Reading Comprehension with Multiple-Choice Questions
zhang2010hao的博客
05-29 880
译文： Abstract 问题具有多个候选项的机器阅读理解(MRC)要求机器阅读给定的文章，并从几个候选项中选择正确答案。在本文中，我们提出了一种新的方法，称为卷积空间注意(CSA)模型，它可以更好地处理带有多个候选项的MRC。该模型能够充分提取文章、问题和候选项之间的相互信息，形成丰富的表征。此外，为了合并各种注意结果，我们建议使用卷积运算来动态总结不同区域大小内的注意值。实验结果表明，所提...
Spatial Attention
chenyuhuaxin的博客
03-23 5451
Attention 机制 所谓Attention机制，便是聚焦于局部信息的机制。当我们再看一样东西时，我们当前时刻关注的一定是我们当前正在看的东西的某一个地方。随着任务的变化，注意力区域往往会发生变化。 面对上面这张图，如果从整体上看，只看到了很多的车，但仔细一看会发现每辆车的车牌号不同，汽车厂家也不同。 图中除了汽车之外的信息均是无用信息，也对目标识别网络起不到作用。Attention机制便是要找到这些对训练最有用的信息。 1. 基于Attention的显著目标检测 和注意力机制相伴而生的一
每日Attention学习4——Spatial Attention Module
xiongxyowo的博客
05-09 524
我们设计了空间注意力模块 (SAM)，以有效地完善特征（见图 3）。我们首先沿通道轴使用平均和最大运算，分别生成两个不同的单通道空间图$S_{avg}$和$S_{max}$。然后，我们将它们连接起来，通过3×3卷积和sigmoid函数计算出空间注意力图。空间注意力图$M_{sa}$可以通过元素级相乘从空间维度对特征重新加权。最后，细化后的特征被送入3×3卷积层，将通道压缩至64。
3D-Attention-Keras:此回购包含常用注意力成像机制的3D实现
03-10
class channel_attention ( tf . keras . layers . Layer ): """ channel attention module Contains the implementation of Convolutional Block Attention Module(CBAM) block. As described in ...
Active Transfer Learning Network: A Unified Deep Joint Spectral-Spatial Feature Learning Model for Hyperspectral Image Classification
02-07
Deep learning has recently attracted significant attention in the field of hyperspectral images (HSIs) classification. However, the construction of an efficient deep neural network mostly relies on a ...
PSANET_MODEL.rar
05-27
PSANET，即Pointwise Spatial Attention Network，是一种在语义分割（Semantic Segmentation）任务中广泛应用的深度学习模型。它由微软亚洲研究院的研究人员提出，旨在解决传统卷积神经网络（CNN）在处理图像时对...
yolov5-attention-master.zip
11-23
在`model.py`中，我们可以期待找到注意力机制的实现，例如Squeeze-and-Excitation (SE) block、CBAM (Channel and Spatial Attention Module) 或者更复杂的Transformer-based Attention。这些机制能够根据输入特征的...
【注意力机制】Squeeze Excitation模块 (SE Net)；Spatial Attention Module模型 (SAM YoloV4) 以及CAM，CBAM
Bismarckczy的博客
07-04 2846
之前的 文章 很详细的写了bottleneck block的实现。 先回顾一下bottleneck的意义，网络的性能归根结底是对特征提取的优秀程度，对特征提取越好，后面的分类，检测，分割等等，就会有更好的性能。resnet不是一味的加深网络层数而提高性能的， ...
Attention机制理解笔记(空间注意力+通道注意力+CBAM+BAM)
热门推荐
落了一地秋的博客
08-16 3万+
Attention机制理解笔记声明Attention分类(主要SA和CA)spitial attentionchannel attentionSA + CA(spitial attention+channel attention)加强SA+CA理解空间注意力机制和通道注意力机制解释attention机制Attention模型架构1.空间注意力模型(spatial attention)2.通道注意力机制3.空间和通道注意力机制的融合CBAM 和 BAMBLOG1的笔记重点及总结BLOG2重点看下这篇文章BAM
卷积块注意模块
沧海一shu_
01-09 3409
目录 Abstract: Introduction Related Work（Attention mechanism） Convolutional Block Attention Module 通道注意力模块 空间注意力模块 模块安排 实验 消融研究 Channel attention Spatial attention Channel and Spatial atten...
一文读懂CV中的注意力机制
小白学视觉
02-15 2853
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨AdamLau@知乎来源丨https://zhuanlan.zhihu.com/p/288758894导读本文...
白话详细解读（七）----- CBAM：Convolutional Block Attention Module
奋斗の博客
03-15 5909
一、CBAM简介 论文链接：https://x.sci-hub.org.cn/scholar?hl=zh-TW&as_sdt=0%2C5&q=CBAM%3A+Convolutional+Block+Attention+Module&btnG=&oq=CB CBAM这篇论文是在2018年提出的，自提出之后，已经被引用上千次，可见其影响力。CBAM是一种专门为了卷积神经网络而设计的注意力模块，传统的卷积存在只关注局部信息，而往往忽略全局信息的弊端，以3*3卷积为例，滤波器有9个
【Image Caption】Adaptive Attention
学习 & 分享 ~
11-14 1886
本文观点： 在 caption 中非视觉词 (比如 the，of 等) 的生成，并不需要视觉信息，它们的梯度反而会影响到视觉信息的有效性。而且，有些看似需要视觉特征来生成的词，也可以通过人类的语言模型预测出来 (比如 “taking on a cell” 后面生成 “phone”)。改进方法： 设计了蕴含历史信息的 visual sentinel，来表示已生成文本的历史信息。然后引进一个参数，来控制 attention 中视觉信息和历史信息的比重。相当于从时间的维度来决定什么时候看，看多少。此外，作者改变了
【空间-光谱联合注意网络：多时相遥感图像】
weixin_43690932的博客
09-27 746
A Spatial–Spectral Joint Attention Network for Change Detection in Multispectral Imagery （一种用于多光谱图像变化检测的空间-光谱联合注意网络） 变化检测是通过比较双时相图像来确定和评估变化，这是遥感领域的一项具有挑战性的任务。为了更好地利用高级特征，基于深度学习的变化检测方法引起了研究人员的关注。大多数基于深度学习的方法仅同时探索空间-光谱特征。然而，我们认为关键的空间变化领域应该是更重要的，并应注意到特定的波段，可以
基于tensorflow2.5,将Channel Attention部分中的全局平均池化替换为L2池化，对于Spatial Attention，将max pooling和average pooling分别替换为随机池化和L2池化，二者结合形成新的CBAM模块，并给出使用示例
04-06
首先，我们需要定义L2池化和随机池化的函数： ```python import tensorflow as tf def l2_pool(x, pool_size): return tf.math.sqrt(tf.nn.avg_pool(tf.square(x), pool_size, strides=1, padding='SAME')) def rand_pool(x, pool_size): random_mat = tf.random.uniform(x.shape[:-1], dtype=tf.float32) threshold = tf.math.reduce_max(random_mat) * 0.5 return tf.where(random_mat > threshold, tf.nn.avg_pool(x, pool_size, strides=1, padding='SAME'), tf.nn.max_pool(x, pool_size, strides=1, padding='SAME')) ``` 然后，我们可以定义新的CBAM模块： ```python import tensorflow as tf class NewCBAM(tf.keras.layers.Layer): def __init__(self, reduction_ratio=16): super(NewCBAM, self).__init__() self.reduction_ratio = reduction_ratio self.gamma = tf.Variable(0.0, trainable=True) # Channel Attention self.avg_pool = tf.keras.layers.GlobalAveragePooling2D() self.max_pool = tf.keras.layers.GlobalMaxPooling2D() self.l2_pool = tf.keras.layers.Lambda(lambda x: l2_pool(x, pool_size=(1,1))) self.dense1 = tf.keras.layers.Dense(units=tf.keras.backend.int_shape(x)[-1]//self.reduction_ratio, activation='relu') self.dense2 = tf.keras.layers.Dense(units=tf.keras.backend.int_shape(x)[-1], activation='sigmoid') # Spatial Attention self.rand_pool = tf.keras.layers.Lambda(lambda x: rand_pool(x, pool_size=(3,3))) self.l2_pool2 = tf.keras.layers.Lambda(lambda x: l2_pool(x, pool_size=(3,3))) self.concat1 = tf.keras.layers.Concatenate(axis=-1) self.conv1 = tf.keras.layers.Conv2D(filters=1, kernel_size=1, activation='sigmoid') def call(self, x): # Channel Attention avg_pool = self.avg_pool(x) max_pool = self.max_pool(x) l2_pool = self.l2_pool(x) concat = tf.concat([avg_pool, max_pool, l2_pool], axis=-1) dense1 = self.dense1(concat) dense2 = self.dense2(dense1) channel_attention = tf.reshape(dense2, shape=(-1,1,1,tf.keras.backend.int_shape(x)[-1])) channel_attention = tf.math.multiply(x, channel_attention) # Spatial Attention rand_pool = self.rand_pool(x) l2_pool2 = self.l2_pool2(x) concat2 = tf.concat([rand_pool, l2_pool2], axis=-1) conv1 = self.conv1(concat2) spatial_attention = tf.math.multiply(x, conv1) # Fusion fusion = tf.math.add(channel_attention, spatial_attention) return tf.math.add(tf.math.multiply(x, 1-self.gamma), tf.math.multiply(fusion, self.gamma)) ``` 最后，我们可以使用新的CBAM模块： ```python import tensorflow as tf inputs = tf.keras.layers.Input(shape=(224, 224, 3)) x = tf.keras.layers.Conv2D(filters=64, kernel_size=3, padding='SAME')(inputs) x = NewCBAM()(x) x = tf.keras.layers.Conv2D(filters=128, kernel_size=3, padding='SAME')(x) x = NewCBAM()(x) x = tf.keras.layers.Conv2D(filters=256, kernel_size=3, padding='SAME')(x) x = NewCBAM()(x) x = tf.keras.layers.Conv2D(filters=512, kernel_size=3, padding='SAME')(x) x = NewCBAM()(x) x = tf.keras.layers.Conv2D(filters=1024, kernel_size=3, padding='SAME')(x) x = NewCBAM()(x) outputs = tf.keras.layers.GlobalAveragePooling2D()(x) model = tf.keras.Model(inputs=inputs, outputs=outputs) ```
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值