注意力机制（代码实现案例)

已于 2024-03-04 09:57:41 修改
阅读量2.4k 收藏 32
点赞数 16
分类专栏： NLP 文章标签： 深度学习 人工智能
于 2024-03-04 09:56:46 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_60657960/article/details/136444302
版权
本文介绍了注意力机制的概念、计算规则，重点讲解了注意力机制在深度学习中的应用，如自注意力计算和在NLP中的seq2seq模型中的角色。还详细阐述了注意力机制的实现步骤，包括线性变换和BMM运算，并提供了Python代码示例。
摘要由CSDN通过智能技术生成

学习目标

  • 了解什么是注意力计算规则以及常见的计算规则.
  • 了解什么是注意力机制及其作用.
  • 掌握注意力机制的实现步骤.

1 注意力机制介绍

1.1 注意力概念

  • 我们观察事物时，之所以能够快速判断一种事物(当然允许判断是错误的), 是因为我们大脑能够很快把注意力放在事物最具有辨识度的部分从而作出判断，而并非是从头到尾的观察一遍事物后，才能有判断结果. 正是基于这样的理论，就产生了注意力机制.

1.2 注意力计算规则

  • 它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时, 称作自注意力计算规则.

1.3 常见的注意力计算规则

  • bmm运算演示:

# 如果参数1形状是(b × n × m), 参数2形状是(b × m × p), 则输出为(b × n × p)
>>> input = torch.randn(10, 3, 4)
>>> mat2 = torch.randn(10, 4, 5)
>>> res = torch.bmm(input, mat2)
>>> res.size()
torch.Size([10, 3, 5])

2 什么是注意力机制

  • 注意力机制是注意力计算规则能够应用的深度学习网络的载体, 同时包括一些必要的全连接层以及相关张量处理, 使其与应用网络融为一体. 使用自注意力计算规则的注意力机制称为自注意力机制.
  • 说明: NLP领域中, 当前的注意力机制大多数应用于seq2seq架构, 即编码器和解码器模型.

3 注意力机制的作用

  • 在解码器端的注意力机制: 能够根据模型目标有效的聚焦编码器的输出结果, 当其作为解码器的输入时提升效果. 改善以往编码器输出是单一定长张量, 无法存储过多信息的情况.
  • 在编码器端的注意力机制: 主要解决表征问题, 相当于特征提取过程, 得到输入的注意力表示. 一般使用自注意力(self-attention).

注意力机制在网络中实现的图形表示:

4 注意力机制实现步骤

4.1 步骤

  • 第一步: 根据注意力计算规则, 对Q，K，V进行相应的计算.
  • 第二步: 根据第一步采用的计算方法, 如果是拼接方法，则需要将Q与第二步的计算结果再进行拼接, 如果是转置点积, 一般是自注意力, Q与V相同, 则不需要进行与Q的拼接.
  • 第三步: 最后为了使整个attention机制按照指定尺寸输出, 使用线性层作用在第二步的结果上做一个线性变换, 得到最终对Q的注意力表示.

4.2 代码实现

  • 常见注意力机制的代码分析: 
    import torch
import torch.nn as nn
import torch.nn.functional as F

class Attn(nn.Module):
    def __init__(self, query_size, key_size, value_size1, value_size2, output_size):
        """初始化函数中的参数有5个, query_size代表query的最后一维大小
           key_size代表key的最后一维大小, value_size1代表value的导数第二维大小, 
           value = (1, value_size1, value_size2)
           value_size2代表value的倒数第一维大小, output_size输出的最后一维大小"""
        super(Attn, self).__init__()
        # 将以下参数传入类中
        self.query_size = query_size
        self.key_size = key_size
        self.value_size1 = value_size1
        self.value_size2 = value_size2
        self.output_size = output_size

        # 初始化注意力机制实现第一步中需要的线性层.
        self.attn = nn.Linear(self.query_size + self.key_size, value_size1)

        # 初始化注意力机制实现第三步中需要的线性层.
        self.attn_combine = nn.Linear(self.query_size + value_size2, output_size)


    def forward(self, Q, K, V):
        """forward函数的输入参数有三个, 分别是Q, K, V, 根据模型训练常识, 输入给Attion机制的
           张量一般情况都是三维张量, 因此这里也假设Q, K, V都是三维张量"""

        # 第一步, 按照计算规则进行计算, 
        # 我们采用常见的第一种计算规则
        # 将Q，K进行纵轴拼接, 做一次线性变化, 最后使用softmax处理获得结果
        attn_weights = F.softmax(
            self.attn(torch.cat((Q[0], K[0]), 1)), dim=1)

        # 然后进行第一步的后半部分, 将得到的权重矩阵与V做矩阵乘法计算, 
        # 当二者都是三维张量且第一维代表为batch条数时, 则做bmm运算
        attn_applied = torch.bmm(attn_weights.unsqueeze(0), V)

        # 之后进行第二步, 通过取[0]是用来降维, 根据第一步采用的计算方法, 
        # 需要将Q与第一步的计算结果再进行拼接
        output = torch.cat((Q[0], attn_applied[0]), 1)

        # 最后是第三步, 使用线性层作用在第三步的结果上做一个线性变换并扩展维度，得到输出
        # 因为要保证输出也是三维张量, 因此使用unsqueeze(0)扩展维度
        output = self.attn_combine(output).unsqueeze(0)
        return output, attn_weights

  • 调用:
  • query_size = 32
key_size = 32
value_size1 = 32
value_size2 = 64
output_size = 64
attn = Attn(query_size, key_size, value_size1, value_size2, output_size)
Q = torch.randn(1,1,32)
K = torch.randn(1,1,32)
V = torch.randn(1,32,64)
out = attn(Q, K ,V)
print(out[0])
print(out[1])

  • 输出效果: 
    tensor([[[ 0.4477, -0.0500, -0.2277, -0.3168, -0.4096, -0.5982,  0.1548,
          -0.0771, -0.0951,  0.1833,  0.3128,  0.1260,  0.4420,  0.0495,
          -0.7774, -0.0995,  0.2629,  0.4957,  1.0922,  0.1428,  0.3024,
          -0.2646, -0.0265,  0.0632,  0.3951,  0.1583,  0.1130,  0.5500,
          -0.1887, -0.2816, -0.3800, -0.5741,  0.1342,  0.0244, -0.2217,
           0.1544,  0.1865, -0.2019,  0.4090, -0.4762,  0.3677, -0.2553,
          -0.5199,  0.2290, -0.4407,  0.0663, -0.0182, -0.2168,  0.0913,
          -0.2340,  0.1924, -0.3687,  0.1508,  0.3618, -0.0113,  0.2864,
          -0.1929, -0.6821,  0.0951,  0.1335,  0.3560, -0.3215,  0.6461,
           0.1532]]], grad_fn=<UnsqueezeBackward0>)


tensor([[0.0395, 0.0342, 0.0200, 0.0471, 0.0177, 0.0209, 0.0244, 0.0465, 0.0346,
         0.0378, 0.0282, 0.0214, 0.0135, 0.0419, 0.0926, 0.0123, 0.0177, 0.0187,
         0.0166, 0.0225, 0.0234, 0.0284, 0.0151, 0.0239, 0.0132, 0.0439, 0.0507,
         0.0419, 0.0352, 0.0392, 0.0546, 0.0224]], grad_fn=<SoftmaxBackward>)

山山而川_R
关注
  • 16
    点赞
  • 踩
  • 32
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Attention(注意力机制代码)
07-16
Attention.zip文件中总结了几种关于注意力机制的代码，有keras和tensorflow，还有PyTorch框架的
一文读懂——全局注意力机制（global attention）详解与代码实现
08-17
Gobal Attention的目的：是为了在生成上下文向量（也可以认为是句向量）时将所有的hidden state都考虑进去。Attention机制认为每个单词在一句话中的重要程度是不一样的，通过学习得到一句话中每个单词的权重。即为关注重要特征，忽略无关特征。 本代码采样keras2.2.4\tensorflow1.12进行实现的。
Pytorch：Attention理解和代码实现
m0_63997099的博客
04-27 1586
文章目录一、Attention原理核心点1、Self-Attentiona.核心原始形态b.self-Attention使用相同的矩阵是否可行？2、常见的注意力机制1. 自注意力机制（Self-Attention）2. 多头注意力（Multi-Head Attention）3. 序列到序列的注意力（Seq2Seq Attention）4. 点积注意力（Dot-Product Attention）5. 加性注意力（Additive Attention）或串联注意力（Concat Attention）6. 卷积
注意力机制——注意力评分函数（代码+详解）
gary101818的博客
02-07 1万+
目录注意力分数关于a函数的设计有两种思路1.加性注意力(Additive Attention)2.缩放点积注意力（Scaled Dot-Product Attention）模块导入遮蔽softmax操作加性注意力代码：补充知识：1.torch.repeat_interleave(data, repeat= , dim=)2.torch.nn.Linear(*in_features*, *out_features*, *bias=True*, *device=None*, dtype=None）3.torch
注意力机制的应用(附代码)
qq_43619847的博客
12-09 1999
注意力机制是一种在神经网络中引入注意力概念的方法，用于提高神经网络的计算效率和预测准确率。它通过为每个输入分配不同的注意力权重，来让神经网络更加重视某些输入，从而更好地处理序列数据。
PyTorch——自注意力（self-attention）机制实现（代码详解）
热门推荐
beilizhang的博客
03-28 8万+
参考链接 https://www.bilibili.com/video/BV1JE411g7XF?p=54 https://arxiv.org/abs/1706.03762 https://blog.csdn.net/qq_36653505/article/details/83375160 简述自注意力机制（self-attention） self-attention可以视为一个特征提取层，给定输入特征a1,a2,⋅⋅⋅ana^{1},a^{2},\cdot \cdot \cdot a^{n}a1,a2
【python|attention】注意力机制代码
胡侃有料的博客
06-27 3万+
every blog every motto: You can do more than you think. 0. 前言 梳理目前主流的注意力机制代码，目前以pytorch为例。 说明： 特征图维度的组织形式为：（batch,channel,height,width） 1. 正文 1.1 SEBlock 2017 考虑通道间的注意力之间的关系，在通道上加入注意力机制 论文：https://arxiv.org/abs/1709.01507 代码：https://github.com/hujie-frank
注意力机制讲解与代码解析
slamer111的博客
09-10 3674
面试考的所有注意力机制代码与解析
注意力机制代码
sun13212715744的博客
09-19 429
这个示例中，我们定义了一个Attention类，它包含了一个注意力机制的前向传播方法。在前向传播中，我们首先将隐藏状态复制了sequence_length次，然后将encoder_outputs和复制后的隐藏状态拼接在一起。接着，使用一个线性层和tanh激活函数计算注意力分数，然后通过Softmax函数计算注意力权重。这个示例是一个自定义的注意力机制，可以用于文本序列的处理，例如机器翻译。请注意，这只是一个简单的示例，实际应用中可能会根据具体任务和模型架构进行更复杂的注意力机制设计。
各种注意力机制的PyTorch实现
⚡
08-21 4445
先前我们实现的注意力评分函数为了简便起见没有引入掩码机制，一般而言我们会在注意力机制中加入mask和dropout，对于前者，具体会用到。维向量（已做了词嵌入）， 该序列的自注意力将输出一个长度相同的序列。是注意力评分函数，然后将其扔到softmax里得到。，不能直接相加，所以需要先将其形状分别扩展为。，这说明自注意力的权重矩阵的形状是正方形。为例，其形状变化过程为（这里是批量计算），此时多头注意力就简化成了单头注意力。的张量，这就是多头注意力的最终输出结果。，然后再进行广播相加，得到形状为。.......
ECANet注意力机制实现数据预测附Python源代码.zip
11-20
3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事...
时间卷积长短记忆神经网络多头注意力机制TCN-LSTM-Multihead-Attention风电预测Matlab实现.rar
最新发布
06-14
1.版本：matlab2014/2019a/2021a ...3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
Matlab实现CNN-BiGRU-Mutilhead-Attention卷积双向门控循环单元融合多头注意力机制时序预测.zip
02-19
1.版本：matlab2014/2019a/2021a ...3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
案例说明_出租车载客收益预测1
08-08
3. **注意力机制**：在深度学习中，注意力机制允许模型在处理序列数据时更专注于重要的部分，提高预测准确性。 - **时间注意力**：关注序列中不同时间步的重要性。 - **空间注意力**：在地理或空间维度上分配权重...
JavaScript控制窗口2案例.pdf
07-11
这种效果常用于吸引用户注意力或者显示一些提示信息。 源代码中定义了一个名为`statusMessageObject`的构造函数，用于初始化和管理滚动文本的状态。`MESSAGE`变量存储了要滚动显示的文本，`POSITION`设置了初始的...
深度学习代码|Multi-Headed Attention (MHA)多头注意力机制的代码实现
weixin_47748259的博客
02-09 2997
定义多头自注意力机制中的线性变换操作（在自注意力机制中，需要将输入的特征向量通过线性变换映射到不同的空间中，以便进行多头注意力的计算。将向量拆分为给定数量的头部，以获得多头注意。'''d_model：模型输入的特征维度；heads：注意力机制中的头数；d_k：每个头部中以向量表示的维度数；bias：是否使用偏置项'''#线性变换的线性层，输入为d_model，输出为heads*d_k'''
NLP | 注意力机制Attention Mechannism图文详解及代码
weixin_44649780的博客
10-20 2267
Attention 机制彻底改变了创建 NLP 模型的方式，目前是大多数最先进的 NLP 模型中的标准装置。这是因为它使模型能够强调输入中的所有单词，并在制定响应时专注于特定单词。
【图神经网络】图注意力机制GAT以及Pytorch实现
sxl的博客
04-25 6305
[1]【GNN】GAT：Attention 在 GNN 中的应用 [2]图注意力网络(GAT) ICLR2018, Graph Attention Network论文详解 [3]https://github.com/dmlc/dgl/tree/master/examples/pytorch/gat [4]https://github.com/PetarV-/GAT
全局注意力机制代码实现
08-17
全局注意力机制（Global Attention Mechanism）常用于序列到序列（sequence-to-sequence）模型中，用于对输入序列的每个元素进行加权求和。下面是一个简单的全局注意力机制的代码实现示例： ```python import torch import torch.nn as nn class GlobalAttention(nn.Module): def __init__(self, hidden_size): super(GlobalAttention, self).__init__() self.hidden_size = hidden_size self.linear_in = nn.Linear(hidden_size, hidden_size, bias=False) self.linear_out = nn.Linear(hidden_size * 2, hidden_size, bias=False) def forward(self, decoder_hidden, encoder_outputs): # decoder_hidden: [batch_size, hidden_size] # encoder_outputs: [seq_len, batch_size, hidden_size] # Compute attention scores seq_len = encoder_outputs.size(0) decoder_hidden = decoder_hidden.unsqueeze(1).repeat(1, seq_len, 1) # [batch_size, seq_len, hidden_size] energy = torch.tanh(self.linear_in(decoder_hidden + encoder_outputs)) # [seq_len, batch_size, hidden_size] attention_scores = torch.sum(energy, dim=2) # [seq_len, batch_size] # Compute attention weights attention_weights = torch.softmax(attention_scores, dim=0) # [seq_len, batch_size] # Compute context vector context_vector = torch.bmm(attention_weights.unsqueeze(0), encoder_outputs.transpose(0, 1)) # [1, batch_size, hidden_size] context_vector = context_vector.squeeze(0) # [batch_size, hidden_size] # Concatenate context vector and decoder hidden state output = torch.tanh(self.linear_out(torch.cat((context_vector, decoder_hidden.squeeze(1)), dim=1))) # [batch_size, hidden_size] return output, attention_weights ``` 以上代码是一个简单的全局注意力机制的实现示例，其中包括初始化方法和前向传播方法。通过输入解码器的隐藏状态和编码器的输出，计算注意力分数、注意力权重、上下文向量等，并返回最终的输出结果。 请注意，这只是一个简单的示例，实际应用中可能需要根据具体任务和模型结构进行适当的修改和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值