【Academic tailor】学术小裁缝必备知识点：全局注意力机制（GAM）

最新推荐文章于 2025-05-07 11:01:30 发布
最新推荐文章于 2025-05-07 11:01:30 发布
阅读量3.3k 收藏 166
点赞数 141
分类专栏： 学术裁缝【Academic tailor】 人工智能（AI） 文章标签： 人工智能 强化学习 机器学习 算法 自注意力 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_51399582/article/details/143843277
版权

        📢如何做好一个学术小裁缝？本篇文章是博主人工智能（AI）领域学习时，用于个人学习、研究或者欣赏使用，并基于博主的一些理解而记录的学习摘录和笔记，若有不当和侵权之处，指出后将会立即改正，还望谅解。文章分类在👉学术裁缝专栏：

       【Academic tailor】（1）---《学术裁缝必备小知识：全局注意力机制（GAM）》

学术裁缝必备小知识：全局注意力机制（GAM）

目录

0 摘要

1 注意力机制提出背景

2 注意力机制核心组成

1. 编码器-解码器框架

2. 上下文向量（Context Vector）

3. 对齐模型（Alignment Model）

4. 评分函数（Score Function）

5.解码器与注意力的结合

6.注意力机制的优点

变体与扩展

1. Luong 的注意力机制

2. 自注意力（Self-Attention）

3. 多头注意力（Multi-Head Attention）

3 全局注意力机制

[Python] GAM代码实现

1. GAM代码TensorFlow实现

2. GAM代码Pytorch实现

[Notice]  注意事项

4 总结

学术小裁缝精髓：

1.广泛阅读：从领域出发，关注方法

2.优化创新：有一个形象的比喻，比如一个大创新点是西红柿炒鸡蛋，问题领域是炒鸡蛋，方法是加西红柿。那么你可以把西红柿换成软西红柿，青西红柿，如果你换成了青椒/韭菜，偶买噶，你是天才。或者把鸡蛋换鸭蛋/鹅蛋（即新方法老问题，老方法新问题，如果是新方法新问题那就更好了）。如果有文章提出在鸡蛋里加味精更好吃，就把味精加到西红柿炒鸡蛋里。

3.内容美化：实验分析和公式要多，图要精致、漂亮，公式复杂化

4.投稿技术：做好期刊背调（领域，时间等），Coverletter好好写，写完了就投，拒了就换

5.保命方法：交流要礼貌，让你加参考文献你就加，实验让做就做，responese to reviewers要写的多，最好让审稿人看完就不用去翻你的修改稿了。

 0 摘要

        注意力机制是深度学习中的重要技术，尤其在序列到序列（sequence-to-sequence）任务中广泛应用，例如机器翻译、文本摘要和问答系统等。这一机制由 Bahdanau 等人在其论文《Neural Machine Translation by Jointly Learning to Align and Translate》中首次提出。以下将详细介绍这一机制的背景、核心原理及相关公式。

        全局注意力机制（Global Attention Mechanism, GAM）由 《Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions》提出，是一篇针对计算机视觉任务提出的方法。这篇文章聚焦于增强深度神经网络中通道和空间维度之间的交互，以提高分类任务的性能。与最早由 Bahdanau 等人提出的用于序列到序列任务的注意力机制 不同，这篇文章的重点是针对图像分类任务，并未专注于序列任务或机器翻译问题。

1 注意力机制提出背景

        传统的编码器-解码器（Encoder-Decoder）架构在神经机器翻译任务中依赖一个固定长度的向量表示输入序列。对于长句子，这种固定大小的表示无法有效捕获全部关键信息，导致翻译质量下降。

        注意力机制通过动态计算上下文向量（context vector），结合解码器的当前状态，有效地解决了这一问题，使模型在解码过程中能够关注输入序列中最相关的部分。

2 注意力机制核心组成

1. 编码器-解码器框架

全局注意力机制嵌入于标准的编码器-解码器框架中：

        编码器（Encoder）：

                将输入序列 ( X = {x_1, x_2, \dots, x_T} )编码为一组隐藏状态 ( h_1, h_2, \dots, h_T )。

        解码器（Decoder）：

                 逐步生成输出序列 ( Y = {y_1, y_2, \dots, y_{T'}} )，同时动态关注编码器的隐藏状态。

2. 上下文向量（Context Vector）

        解码器在每一步生成输出时，利用注意力机制动态计算一个上下文向量 ( c_t )，该向量表示当前解码时最相关的编码器状态的加权和：

c_t = \sum_{i=1}^{T} \alpha_{t,i} h_i

其中：

  • ( h_i )：编码器的第 ( i )个隐藏状态。
  • ( \alpha_{t,i} )：第( t )步时与第( i )个隐藏状态的注意力权重。

注意力权重的计算

3. 对齐模型（Alignment Model）

        注意力权重 ( \alpha_{t,i} ) 的计算依赖于一个对齐模型，用于评分解码器当前隐藏状态 ( s_t )与编码器隐藏状态 ( h_i )的相关性：

\alpha_{t,i} = \frac{\exp(e_{t,i})}{\sum_{j=1}^{T} \exp(e_{t,j})}

其中，( e_{t,i} )是对齐分数：e_{t,i} = \text{score}(s_t, h_i)

4. 评分函数（Score Function）

论文中提出了多种评分函数，具体包括：

        点积（Dot Product）：

\text{score}(s_t, h_i) = s_t^\top h_i

        一般形式（General）：

\text{score}(s_t, h_i) = s_t^\top W_a h_i

其中，( W_a ) 是一个可学习的权重矩阵。

        拼接（Concatenation）： 

\text{score}(s_t, h_i) = v_a^\top \tanh(W_a [s_t; h_i])

其中，( W_a )和 ( v_a ) 是可学习参数，[;]表示向量拼接。

5.解码器与注意力的结合

上下文向量( c_t )会与解码器当前的隐藏状态 ( s_t )结合，用于生成解码器的输出：

  1. 解码器的输入：[ \tilde{s}_t = g([s_t; c_t]) ]其中，( g ) 通常是一个前馈神经网络。

  2. 输出生成： 最终，解码器使用( \tilde{s}_t )预测当前步的输出 ( y_t )。

6.注意力机制的优点
  1. 动态聚焦： 模型能够在解码过程中灵活关注输入序列中最相关的部分。
  2. 性能提升： 对于长句子的处理效果显著优于传统方法。
  3. 可解释性： 注意力权重提供了模型在不同解码步骤中关注输入位置的直观解释。

变体与扩展

1. Luong 的注意力机制

Luong 等人提出了一个改进的注意力机制，包括：

  • 全局注意力（Global Attention）： 计算与整个输入序列的关系。
  • 局部注意力（Local Attention）： 仅关注输入序列中的某个局部窗口。
2. 自注意力（Self-Attention）

        相比于 GAM 关注编码器与解码器间的交互，自注意力机制（Transformer 中的核心）将注意力扩展到输入和输出序列中的所有令牌之间。

3. 多头注意力（Multi-Head Attention）

        通过多头机制，允许模型从不同的角度关注输入序列的不同特征。

3 全局注意力机制

1. 背景与动机
  • 注意力机制（Attention Mechanism）在计算机视觉领域表现优异，尤其在图像分类任务中。
  • 现有挑战：传统注意力机制（如SENet、CBAM等）虽然优化了通道或空间维度，但忽略了跨维度（通道-空间）全局交互的信息，导致信息损失。
  • 核心目标：通过全局注意力机制（Global Attention Mechanism, GAM），保留信息并放大跨维度全局交互，提升网络性能。
2. 方法创新点

  • 全局注意力机制架构

    • GAM由通道注意力子模块和空间注意力子模块串联构成。
    • 公式：

      其中，Mc​和Ms​分别为通道与空间注意力映射，⊗表示逐元素乘法。
    • 通道注意力子模块：引入3D排列和两层多层感知机（MLP），放大通道间全局交互。

    • 空间注意力子模块：去除池化操作，使用卷积网络加强空间信息融合，避免信息丢失。

  • 核心优化：

    • 避免池化损失：去除空间池化操作（如最大池化），保持特征完整性。
    • 参数优化：在ResNet50中使用分组卷积和通道混洗，控制参数量。
3. 实验验证
数据集
  • CIFAR-100和ImageNet-1K：
    • CIFAR-100用于小规模验证，ImageNet-1K则验证实际应用中的泛化能力。
实验结果

  1. 在CIFAR-100上的性能

    • GAM在ResNet50上将Top-1错误率降低至18.67%，明显优于SE、CBAM等。
    • 使用分组卷积（group convolution, gc）时，性能稍降但参数量显著减少。

  2. 在ImageNet-1K上的性能

    • GAM在ResNet18和ResNet50上均实现了稳定的性能提升。
    • 与其他注意力机制相比（如CBAM、TAM），GAM在参数量较少的情况下取得更低的错误率。
消融实验
  1. 单独评估通道和空间注意力
    • **通道注意力（ch）和空间注意力（sp）**单独使用均有提升，但两者结合时性能最佳。
  2. 去除池化的影响
    • 在ResNet18中去除池化操作，Top-1错误率从29.89%进一步降低至28.57%。
4. 对比分析
  • 现有方法的不足：
    • SENet：只考虑通道维度，忽略空间信息。
    • CBAM和BAM：分别采用串联和并联方式结合通道与空间注意力，但缺乏跨维度交互。
    • TAM：改进为三维交互，但每次仅涉及两个维度，未实现全局维度交互。
  • GAM的优势：
    • 强调全局跨维度交互。
    • 在多个数据集和架构上都表现出良好的鲁棒性和泛化能力。
5. 未来展望
  • 优化方向：
    • 减少GAM的参数量以适应更深层次模型（如ResNet101）。
    • 探索结合参数优化的其他跨维度注意力机制。
  • 研究意义：
    • GAM展示了在大规模数据集上的应用潜力，为未来注意力机制的发展提供了新方向。

[Python] GAM代码实现

        🔥若是下面代码复现困难或者有问题，欢迎评论区留言；需要以整个项目形式的代码，请在评论区留下您的邮箱📌，以便于及时分享给您（私信难以及时回复）。

1. GAM代码TensorFlow实现

"""《GAM 项目》tensorflow
    时间：2024.11
    作者：不去幼儿园
"""
import tensorflow as tf
from keras import layers,Sequential
from keras.layers import Conv2D
from keras.layers import BatchNormalization, Dropout, Dense
from keras.layers import ReLU

class GAM(layers.Layer):
    def __init__(self, in_channels, out_channels, rate=4):
        super().__init__()
        inchannel_rate = int(int(in_channels)/rate)

        self.channel_attention = Sequential()

        self.channel_attention.add(Dense(inchannel_rate))
        self.channel_attention.add(ReLU())
        self.channel_attention.add(Dense(in_channels))
        
        self.spatial_attention = Sequential()

        self.spatial_attention.add(Conv2D(inchannel_rate,kernel_size=(7,7),padding='same'))
        self.spatial_attention.add(BatchNormalization())
        self.spatial_attention.add(ReLU())
        self.spatial_attention.add(Conv2D(out_channels,kernel_size=(7,7),padding='same'))
        self.spatial_attention.add(BatchNormalization())

    def forward(self,x):
        b, c, h, w = x.shape
        # B,C,H,W ==> B,H*W,C
        x_permute = x.permute(0, 2, 3, 1).view(b, -1, c)
        
        # B,H*W,C ==> B,H,W,C
        x_att_permute = self.channel_attention(x_permute).view(b, h, w, c)
        # B,H,W,C ==> B,C,H,W
        x_channel_att = x_att_permute.permute(0, 3, 1, 2)

        x = x * x_channel_att

        x_spatial_att = self.spatial_attention(x).sigmoid()
        out = x * x_spatial_att

        return out

if __name__ == '__main__':
    img = tf.random.normal([1,64,32,48])
    b, c, h, w = img.shape
    net = GAM(in_channels=c, out_channels=c)
    output = net(img)
    print(output.shape)

"""《GAM 项目》tensorflow
    时间：2024.11
    作者：不去幼儿园
"""
import tensorflow as tf
from keras import layers

from keras.layers import Conv2D
from keras.layers import BatchNormalization, Dense
from keras.activations import relu


#tensorflow             1.4.0
#Keras                  2.0.8

class GAM(layers.Layer):
    def __init__(self, in_channels, out_channels, rate=4):
        super().__init__()
        in_channels = int(in_channels)
        out_channels = int(out_channels)
        inchannel_rate = int(in_channels/rate)


        self.dense1 = Dense(inchannel_rate,input_shape=(in_channels,),activation='relu')

        self.dense2 = Dense(in_channels)
        

        self.conv1=Conv2D(inchannel_rate,kernel_size=(7,7),padding='same')

        self.conv2=Conv2D(out_channels,kernel_size=(7,7),padding='same')


    def forward(self,x):
        b, c, h, w = x.shape
        # B,C,H,W ==> B,H*W,C
        x_permute = x.permute(0, 2, 3, 1).view(b, -1, c)
        
        # B,H*W,C ==> B,H,W,C
        print('x_permute',x_permute.shape)
        x_att_permute = self.dense2(self.dense1(x_permute)).view(b, h, w, c)
        # B,H,W,C ==> B,C,H,W
        x_channel_att = x_att_permute.permute(0, 3, 1, 2)

        x = x * x_channel_att

        x_spatial_att = relu(BatchNormalization(self.conv1(x)))
        x_spatial_att = BatchNormalization(self.conv2(x)).sigmoid()
        
        out = x * x_spatial_att

        return out

if __name__ == '__main__':
    img = tf.random_normal([1,64,32,48])
    b, c, h, w = img.shape
    net = GAM(in_channels=c, out_channels=c)
    output = net(img)
    print(output.shape)

2. GAM代码Pytorch实现

"""《GAM 项目》pytorch
    时间：2024.11
    作者：不去幼儿园
"""
import torch
import torch.nn as nn

class GAM(nn.Module):
    def __init__(self, in_channels, out_channels, rate=4):
        super().__init__()
        in_channels = int(in_channels)
        out_channels = int(out_channels)
        inchannel_rate = int(in_channels/rate)


        self.linear1 = nn.Linear(in_channels, inchannel_rate)
        self.relu = nn.ReLU(inplace=True)
        self.linear2 = nn.Linear(inchannel_rate, in_channels)
        

        self.conv1=nn.Conv2d(in_channels, inchannel_rate,kernel_size=7,padding=3,padding_mode='replicate')

        self.conv2=nn.Conv2d(inchannel_rate, out_channels,kernel_size=7,padding=3,padding_mode='replicate')

        self.norm1 = nn.BatchNorm2d(inchannel_rate)
        self.norm2 = nn.BatchNorm2d(out_channels)
        self.sigmoid = nn.Sigmoid()

    def forward(self,x):
        b, c, h, w = x.shape
        # B,C,H,W ==> B,H*W,C
        x_permute = x.permute(0, 2, 3, 1).view(b, -1, c)
        
        # B,H*W,C ==> B,H,W,C
        x_att_permute = self.linear2(self.relu(self.linear1(x_permute))).view(b, h, w, c)

        # B,H,W,C ==> B,C,H,W
        x_channel_att = x_att_permute.permute(0, 3, 1, 2)

        x = x * x_channel_att

        x_spatial_att = self.relu(self.norm1(self.conv1(x)))
        x_spatial_att = self.sigmoid(self.norm2(self.conv2(x_spatial_att)))
        
        out = x * x_spatial_att

        return out

if __name__ == '__main__':
    img = torch.rand(1,64,32,48)
    b, c, h, w = img.shape
    net = GAM(in_channels=c, out_channels=c)
    output = net(img)
    print(output.shape)

[Notice]  注意事项

        由于博文主要为了介绍相关算法的原理和应用的方法，缺乏对于实际效果的关注，算法可能在上述环境中的效果不佳或者无法运行，一是算法不适配上述环境，二是算法未调参和优化，三是没有呈现完整的代码，四是等等。上述代码用于了解和学习算法足够了，但若是想直接将上面代码应用于实际项目中，还需要进行修改。

4 总结

        Bahdanau 等人提出的全局注意力机制是现代深度学习中的一个基础性概念。它通过动态对齐和翻译输入序列，为复杂的序列生成任务提供了更强大的能力。同时，它也为后续更高级的架构（如 Transformer）奠定了理论基础。

参考文献：

Neural Machine Translation by Jointly Learning to Align and Translate

Global Attention Mechanism: Retain Information to Enhance Channel-Spatial Interactions

     文章若有不当和不正确之处，还望理解与指出。由于部分文字、图片等来源于互联网，无法核实真实出处，如涉及相关争议，请联系博主删除。如有错误、疑问和侵权，欢迎评论留言联系作者，或者关注VX公众号：Rain21321，联系作者。✨

YOLOv8 改进：添加 GAM 注意力机制
走向CTO的路上...
03-17 1317
通过将 GAM 注意力机制集成到 YOLOv8 中，可以增强模型对关键特征的关注，提高在复杂场景中的目标检测效果。虽然这可能会略微增加计算开销，但通常能在精度上带来显著提升。
VGG 改进：加入GAMAttention注意力机制提升对全局信息捕捉能力
Henry的博客
02-16 192
GAMAttention的核心思想是通过全局注意力机制，捕捉输入数据中的全局依赖关系。与传统的局部注意力机制不同，GAMAttention不仅关注局部区域的信息，还考虑整个输入数据的全局上下文信息。它通过引入全局上下文信息，帮助模型更好地理解输入数据的整体结构，从而提升模型的性能。：最后，GAMAttention将全局特征与局部特征进行融合，生成最终的输出。这些特征能够捕捉到输入数据的整体信息。：通过引入全局上下文信息，GAMAttention能够显著提升模型的性能，尤其是在需要理解数据整体结构的任务中。
一文读懂——全局注意力机制（global attention）详解与代码实现
08-17
Gobal Attention的目的：是为了在生成上下文向量（也可以认为是句向量）时将所有的hidden state都考虑进去。Attention机制认为每个单词在一句话中的重要程度是不一样的，通过学习得到一句话中每个单词的权重。即为关注重要特征，忽略无关特征。 本代码采样keras2.2.4\tensorflow1.12进行实现的。
局部-全局注意力（Local-Global Attention）
百态老人的博客
02-22 1214
它通过分阶段处理局部细节和全局上下文，显著降低了传统注意力机制（如Transformer）的复杂度，适用于基因组、自然语言、时序分析等超长序列场景。在基因组中，局部窗口可聚焦于外显子或调控元件（如CTCF结合位点），捕捉密码子偏好性或剪切信号。局部窗口的表示作为Query，全局关键点的表示作为Key/Value，生成融合特征。将序列分割为固定长度（如256个token）的局部窗口，每个窗口独立计算注意力。将局部注意力输出与融合后的全局特征相加，保留多尺度信息。（捕捉上下文），分阶段融合信息，实现复杂度从。
融合创新！全局注意力+局部注意力，训练成本直降91.6%
学姐带你玩AI的博客
03-28 3588
可以让模型在处理数据时，既不会丢失重要的局部细节，也能考虑到整个数据集中的全局结构，从而这种策略相较于传统的单一注意力机制，能够更全面地理解输入数据，同时捕捉长距离依赖关系和细节信息。对于论文er来说，是个可发挥空间大、可挖掘创新点多的研究方向。FLASH是一种解决现有高效Transformer变体质量和经验速度问题的实用解决方案。
pytorch代码实现注意力机制之GAM
DM_zx的博客
09-06 985
注意力机制之GAM
涨姿势！一文了解深度学习中的注意力机制
读芯术的博客
12-25 3191
全文共11413字，预计学习时长33分钟 图源：Unsplash “每隔一段时间，就会出现一种能改变一切的革命性产品。” ——史蒂夫·乔布斯（SteveJobs） 这句21世纪最知名的言论之一与深度学习有什么关系呢？ 想想看。计算能力的提升带来了一系列前所未有的突破。 若要追根溯源，答案将指向注意力机制。简而言之，这一全新概念正在改变我们应用深度学习的方式。 ...
【计算机视觉 | 注意力机制】13种即插即用涨点模块分享！含注意力机制、卷积变体、Transformer变体等
wzk4869的博客
11-29 1万+
【计算机视觉 | 注意力机制】13种即插即用涨点模块分享！含注意力机制、卷积变体、Transformer变体等
【计算机视觉】融合创新！全局注意力+局部注意力，训练成本直降91.6%
wzk4869的博客
04-08 4743
【计算机视觉】融合创新！全局注意力+局部注意力，训练成本直降91.6%
结合全局注意力机制的实时语义分割网络
罗伯特技术屋
12-02 973
针对轻量化网络结构从特征图提取有效语义信息不足，以及语义信息与空间细节信息融合模块设计不合理而导致分割精度降低的问题，本文提出一种结合全局注意力机制的实时语义分割网络(global attention mechanism with real time semantic segmentation network ,GaSeNet)。首先在双分支结构的语义分支中引入全局注意力机制，在通道与空间两个维度引导卷积神经网来关注与分割任务相关的语义类别，以提取更多有效语义信息；
【Academic tailor】学术小裁缝必备知识点：全局注意力机制（GAM）TensorFlow
11-23
【Academic tailor】学术小裁缝必备知识点：全局注意力机制（GAM） 注意力机制是深度学习中的重要技术，尤其在序列到序列（sequence-to-sequence）任务中广泛应用，例如机器翻译、文本摘要和问答系统等。这一机制由...
【Academic tailor】学术小裁缝必备知识点：全局注意力机制（GAM）pytorch
11-23
全局注意力机制（Global Attention Mechanism，GAM）是一种在序列模型中使用的技术，特别是在自然语言处理（NLP）任务中。这种机制能够使模型在处理序列数据时，对所有的输入序列给予关注，并能够动态地从输入序列中...
YOLOv10改进 | 注意力篇 | YOLOv10引入GAM注意力机制
tsg6698的博客
06-12 1108
对 CIFAR-100和lmageNet-1K上图像分类任务的拟议机制的评估表明我们的方法稳定地优于ResNet和轻量级的 MobileNet的几个最近的注意机制。到此本文的正式分享内容就结束了，在这里给大家推荐我的YOLOv10改进有效涨点专栏，后期我会根据各种最新的前沿顶会进行论文复现，也会对一些老的改进机制进行补充，如果大家觉得本文帮助到你了，订阅本专栏，关注后续更多的更新~新建一个yolov10nGAM.yaml文件后，在Backbone部分添加了GAM注意力机制，大家可以在其他地方多尝试。
王炸组合！全局注意力+局部注意力，轻松拿捏CCF-A！准确率近乎100％
2401_82426425的博客
11-23 1041
是非常热门、有前景的方向！这种结合，能够充分发挥两者优势，使模型高性能和高计算效率兼备！具体来说：全局注意力擅长捕捉输入数据的整体结构和上下文信息，为模型提供全局视角；而局部注意力则专注于处理数据中的细节和特征，为模型提供局部视角。且局部注意力通过限制注意力计算的范围，可以在一定程度上降低计算复杂度！目前在CV、NLP、跨模态学习等领域都验证了该方法的有效性。比如CVPR24的WiKG，在医学图像分析任务中，准确率近乎100％；
顶会手拿把掐罢了！全局注意力+局部注意力，训练成本仅为原版的8.3%，效果显著！
最新发布
05-07 467
注意力机制创新思路：融合局部与全局视角，突破传统优化瓶颈！传统注意力机制的改进多依赖堆叠层数，导致创新乏力、性能提升受限。单一结构难以兼顾全局语义与局部细节，成为模型发展的瓶颈。而结合局部与全局注意力，能有效融合两者优势，显著提升模型表现。以 Flash 模型为例，通过巧妙设计局部-全局混合注意力机制，在保持高性能的同时，训练成本仅为原版的 8.3% ，效果突出。这种融合策略不仅提升了计算效率和建模能力，更为模型设计打开了更大的创新空间。
【YOLO11改进trick】Attention引入，比CBAM还牛的GAM模块，含创新点GAM模块代码，方便发论文
向上生长的程序媛的博客
02-27 1339
注意力机制模块GAM引入YOLO11，显著提升检测精度，比其他注意力机制模块涨点明显，即插即用。推荐指数五颗星！适合发paper。
深度学习中注意力机制集锦 Attention Module
热门推荐
心之所向
10-13 2万+
注意力机制模仿的是人类观察模式。一般我们在观察一个场景时，首先观察到的是整体场景，但当我们要深入了解某个目标时，我们的注意力就会集中到这个目标上，甚至为了观察到目标的纹理，我们会靠近目标，仔细观察。同理在深度学习中，我们提取到的信息流以同等重要性向后流动，而如果我们知道某些先验信息，我们就能够根据这些信息抑制某些无效信息的流动，从而使得重要信息得以保留。这是一种模式，而并非具体的公式，因此存在各种...
一文搞懂Transformer架构的三种注意力机制
Android23333的博客
08-21 1957
大家对注意力机制多少都有所耳闻，毕竟在自然语言处理（NLP）和大型语言模型（LLM）领域，2017年，《Attention Is All You Need》这篇论文是里程碑式的存在；几乎所有的LLM都是基于注意力机制构建的，甚至最新的多模态或基于视觉的模型也在某种程度上都运用了它；今天，我们将深入探讨注意力机制。
gam全局注意力机制
03-15
<think>好的，我现在需要帮助用户了解全局注意力机制（GAM）的具体实现和应用场景。首先，我得回顾一下用户提供的引用内容，确保信息准确。用户引用的资料提到，GAM 是为了跨越空间和通道维度，保留信息并放大全局的跨维度交互。这和传统的注意力机制如CBAM不同，后者可能更关注单一维度或者局部信息。 接下来，我需要整理GAM的结构。根据引用内容，GAM包含通道注意力模块和空间注意力模块。通道注意力部分可能涉及多层感知机（MLP）或者卷积来调整通道间的关系，而空间注意力可能使用卷积操作来捕捉空间上的全局依赖。需要确认每个模块的具体操作，比如是否使用卷积层、激活函数等。 关于实现方法，用户可能需要代码示例。因此，我应该考虑用PyTorch框架来展示GAM的实现。需要确保代码结构清晰，包括通道注意力和空间注意力的顺序，以及如何将它们结合起来。同时，要检查代码中的参数设置是否正确，比如卷积核的大小、通道数的调整等。 应用场景方面，引用中提到GAM适用于需要全局上下文信息的任务，比如图像分类、目标检测和语义分割。需要具体说明在这些任务中GAM如何提升性能，比如通过保留更多信息来增强特征表示。 另外，用户可能对GAM的优势和与传统方法的比较感兴趣。需要强调GAM在跨维度交互和信息保留方面的优势，比如相比CBAM，GAM能够减少信息损失，增强全局感知能力。 最后，生成相关问题时，要确保问题覆盖实现细节、优势对比、应用场景以及与其他注意力机制的区别。这有助于用户进一步探索GAM的相关知识。 现在需要验证自己的理解是否正确，比如通道注意力是否真的使用1x1卷积和ReLU，空间注意力是否使用分组卷积和LayerNorm。同时，检查代码是否有语法错误，比如张量变换是否正确，是否有遗漏的层。确认应用场景的例子是否恰当，比如图像分类和目标检测确实是GAM的典型应用。 总结来说，回答需要结构清晰，先介绍GAM的概念，再分模块详细说明实现，给出代码示例，然后讨论应用场景和优势，最后生成相关问题。确保引用标记正确，使用中文，数学公式用$...$格式，独立公式用$$...$$。</think>### 全局注意力机制（GAM）实现与应用解析 #### 1. 核心概念 全局注意力机制（GAM）通过**跨空间与通道维度的全局交互**增强特征表达能力。其设计目标为解决传统注意力机制（如CBAM）因维度分离导致的信息损失问题[^1]。GAM包含两个关键模块： - **通道注意力模块**：通过$1 \times 1$卷积与ReLU激活函数建模通道关系 - **空间注意力模块**：利用分组卷积与层归一化（LayerNorm）捕获空间依赖 #### 2. 具体实现 以下为PyTorch实现的核心代码片段： ```python import torch import torch.nn as nn class GAM(nn.Module): def __init__(self, in_channels, reduction=4): super().__init__() # 通道注意力 self.channel_att = nn.Sequential( nn.Conv2d(in_channels, in_channels//reduction, 1), nn.ReLU(), nn.Conv2d(in_channels//reduction, in_channels, 1), nn.Sigmoid() ) # 空间注意力 self.spatial_att = nn.Sequential( nn.Conv2d(in_channels, in_channels//reduction, 7, padding=3, groups=in_channels//reduction), nn.GroupNorm(1, in_channels//reduction), nn.ReLU(), nn.Conv2d(in_channels//reduction, 1, 7, padding=3), nn.Sigmoid() ) def forward(self, x): # 通道维度增强 channel_att = self.channel_att(x) x = x * channel_att # 空间维度增强 spatial_att = self.spatial_att(x) return x * spatial_att ``` #### 3. 数学表达 特征增强过程可表示为： $$ \begin{aligned} F_{channel} &= \sigma(W_2\delta(W_1F)) \odot F \\ F_{final} &= \sigma(W_4\delta_{group}(W_3F_{channel})) \odot F_{channel} \end{aligned} $$ 其中$\odot$表示逐元素乘法，$\delta$为ReLU激活，$\sigma$为Sigmoid函数[^2]。 #### 4. 应用场景 1. **图像分类**：在ResNet等主干网络中插入GAM模块，提升ImageNet分类准确率 2. **目标检测**：用于特征金字塔网络(FPN)增强多尺度特征融合能力 3. **语义分割**：在编解码架构中优化上下文信息传播 #### 5. 优势对比 | 特性 | CBAM | GAM | |------------|------------|--------------| | 交互维度 | 分离处理 | 跨维度联合处理 | | 信息保留率 | 约60% | >85% | | 计算复杂度 | O(C+HW) | O(C+HW) |
评论 208
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不去幼儿园

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值