注意力机制之注意力分数

最新推荐文章于 2024-06-23 23:30:57 发布
最新推荐文章于 2024-06-23 23:30:57 发布
阅读量4.6k 收藏 12
点赞数 4
分类专栏： 目标检测 文章标签： python 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36136196/article/details/120308987
版权

目录

注意力分数

注意力分数和注意力权重的区别：
在这里插入图片描述

扩展到高维

这里，q的数量和key-value对的数量可以不一致。q,k,v的维度都可以不同，最后得到的结果和v的维度一样。关键在于注意力分数a的设置。
在这里插入图片描述

加性注意力

h是超参数。Wk是从k映射到h维，Wq是从q映射到h。q,k,v这三个向量的维度可以不一样
在这里插入图片描述

scaled 点积注意力

q,k都是相同的维度，这里除以d还是为了减少输入长度的影响（类似于归一化）
有多个query，这里，每一行表示第i个query的权重是什么样子的，softmax也是对每一行做softmax，然后再和v相乘。
在这里插入图片描述

总结

  • 注意力分数是query和key的相似度，注意力权重是分数softmax的结果。
  • 两种常见的分数计算：
    • 将query和key合并起来进入一个单输出单隐藏层的MLP
    • 直接将query和key做内积

代码

在这里插入代码片
暄染落墨
关注
  • 4
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
注意力机制介绍.zip
04-09
注意力机制
注意力机制基本概念.zip
02-23
6. **注意力分数**：注意力分数是计算注意力权重的关键，常见的方法有加性注意力、乘性注意力（如在Transformer中使用的 Dot-Product Attention）和位置敏感注意力等。 7. **应用实例**：在机器翻译中，源语言和...
深度学习-注意力机制和分数
qq_41286360的博客
06-12 1041
注意力机制源于对人类视觉的研究，描述了人类在处理大量信息时，会选择性地关注某些信息而忽略其他信息的过程。在认知科学中，由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，这种机制被称为注意力机制。注意力机制是一种强大的工具，它通过模拟人类处理信息的方式，帮助深度学习模型更加高效地处理大量数据。随着研究的深入，注意力机制在各个领域的应用也将越来越广泛。注意力分数在注意力机制中扮演着关键角色，它决定了模型在处理信息时对不同部分的关注程度。
【机器学习300问】131、什么是Attention机制？简单Seq2Seq模型加上注意力机制为例说明。
最新发布
qq_39780701的博客
06-23 850
注意力机制是一种通过模仿人类的注意力过程来增强神经网络模型性能的机制。在机器学习中，注意力机制借鉴了人类注意力的这一特性，允许模型在处理数据时能够“聚焦”于当前输入序列的某些部分，而不是将全部输入数据视为等同重要。在每个时间步中，注意力机制允许模型动态地决定在生成输出时应该“注意”输入序列的哪些部分，使得模型可以更加聚焦于相关信息，提高了序列处理任务的性能。
机器学习&&深度学习——注意力分数（详细数学推导+代码实现）
m0_52380556的博客
08-16 335
机器学习&&深度学习——注意力分数（详细数学推导+代码实现）
深度学习——注意力分数（笔记+代码）
jbkjhji的博客
02-09 1550
③假设query和key的所有元素都是独立的随机变量，并且都满足零均值和单位方差，那么两个向量的点积的均值为0，方差为d。（除以根号d的目的是为了降低对ki的长度的敏感度，使得 无论向量的长度如何，点积的方差都在不考虑向量长度情况下是1）①假设query是一个长为q的向量，ki是长为k的向量，vi是长为v的向量。①注意力分数是query和key的相似度，注意力权重是注意力分数的softmax的结果（0到1之间的数）①α（x,xi）：注意力权重，权重是一组大于等于0，相加和为1的数。
动手学深度学习（四十七）——注意力分数
Liu Feng's Blog
02-19 2401
文章目录一、注意力评分函数二、注意力分数高维拓展1. 可加性注意力2. 缩放的“点－积”注意力三、总结 一、注意力评分函数 f(x)=∑i=1nα(x,xi)yi=∑i=1nexp⁡(−12(x−xi)2)∑j=1nexp⁡(−12(x−xj)2)yi=∑i=1nsoftmax(−12(x−xi)2)yi.(1-1)\begin{aligned} f(x) &=\sum_{i=1}^n \alpha(x, x_i) y_i\\ &= \sum_{i=1}^n \frac{\exp\left(
深度学习笔记 —— 注意力机制 + 注意力分数
LightInDarkness的博客
05-12 530
随意线索：指有意识去关注的点 根据查询去寻找比较感兴趣的东西
1.注意力机制
ReallySongziyang的博客
09-26 1677
注意力机制，加性注意力，缩放点积注意力
Pytorch 注意力分数
负负得正的博客
06-12 655
环境使用 Kaggle 里免费建立的 Notebook教程使用李沐老师的 动手学深度学习 网站和 视频讲解小技巧：当遇到函数看不懂的时候可以按 查看函数详解。注意力汇聚（Pooling）表达式： f(x)=∑iα(x,xi)yi=∑i=1nsoftmax(−12(x−xi)2)yif(x) = \sum_i{\alpha(x, x_i)y_i} = \sum_{i=1}^{n}softmax(-\frac{1}{2}(x-x_i)^2)y_if(x)=i∑​α(x,xi​)yi​=i=1∑n​softma
注意力机制的序列标注-attention
02-06
在自然语言处理（NLP）领域，注意力机制（Attention Mechanism）已经成为深度学习模型的核心组成部分，尤其是在序列标注任务中。序列标注是指对输入序列中的每个元素分配一个预定义的标签，如命名实体识别、词性标注...
注意力机制-基于keras的注意力机制实现.zip
02-23
2. **归一化**：为了得到有效的注意力权重，需要将注意力分数通过softmax函数归一化，使得所有权重之和为1。 3. **加权求和**：用归一化后的权重乘以每个时间步的隐藏状态，并将所有结果相加，得到注意力向量。 4....
注意力机制-注意力机制序列标注-label.zip
02-23
通常，注意力机制通过引入一个额外的注意力分数来衡量序列中各个部分的重要性，这些分数会被用来加权组合隐藏状态，形成一个上下文向量，该向量能更好地代表整个序列的信息。在序列标注任务中，这可以提高模型对关键...
注意力机制——注意力评分函数（代码+详解）
热门推荐
gary101818的博客
02-07 1万+
目录注意力分数关于a函数的设计有两种思路1.加性注意力(Additive Attention)2.缩放点积注意力（Scaled Dot-Product Attention）模块导入遮蔽softmax操作加性注意力代码：补充知识：1.torch.repeat_interleave(data, repeat= , dim=)2.torch.nn.Linear(*in_features*, *out_features*, *bias=True*, *device=None*, dtype=None）3.torch
注意力机制
qq_52053775的博客
05-15 1150
1.导论 心理学原理 动物需要在复杂环境下有效关注值得注意的点 心理学框架:人类根据随意线索和不随意线索选择注意点 一眼扫过去，你看到一个红色的杯子，这是随意线索，你想读书了，你看到一本书，这是不随意线索 卷积、全连接、池化层都只考虑不随意线索 ·注意力机制则显示的考虑随意线索，随意线索被称之为查询(query)。每个输入是一个值(value)和不随意线索(key)的对 通过注意力池化层来有偏向性的选择选择某些输入 非参注意力池化层 给定数据(xi;yi), i = 1,..., n 平
注意力机制(二)--注意力评分函数--李沐动手学深度学习
qq_52631753的博客
11-24 1110
下图说明了 如何将注意力汇聚的输出计算成为值的加权和， 其中 𝑎 表示注意力评分函数。由于注意力权重是概率分布， 因此加权和其本质上是加权平均值。其中查询q和键ki 的注意力权重（标量）是通过注意力评分函数a将两个向量映射成标量，再经过softmax运算得到的：从上面公式看出选择不同的注意力评分函数a aa会导致不同的注意力汇聚操作，下面将介绍两个流行的评分函数：加性注意力评分函数 和 缩放点积注意力评分函数。
【动手学深度学习v2】注意力机制—1 注意力评分函数
weixin_43650171的博客
08-24 776
注意力机制——注意力评分函数
Transformer-2. 注意力分数
kill2013110的博客
09-11 536
上一节记录了注意力机制的基础，这一节主要做几个实现，上节使用了高斯核来对查询和键之间的关系建模。高斯核指数部分可以视为注意力评分函数（attention scoring function）， 简称评分函数（scoring function）， 然后把这个函数的输出结果输入到softmax函数中进行运算。通过上述步骤，将得到与键对应的值的概率分布（即注意力权重）。最后，注意力汇聚的输出就是基于这些注意力权重的值的加权和。
多头注意力机制和交叉注意力机制
12-15
多头注意力机制（MHSA）是一种注意力机制，它可以在不同的表示子空间中并行地计算多个注意力分数。这种机制可以帮助模型更好地捕捉输入序列中的不同关系。在图像分割中，MHSA通常被用于编码器的最后一层，以便模型可以同时关注整个图像。而交叉注意力机制则是将注意力机制应用于跳跃连接之后的解码器中，以将高层次语义更丰富的特征图与来自跳跃连接的高分辨率图结合起来，从而提高分割的准确性。 下面是一个简单的例子，展示了如何在PyTorch中实现多头注意力机制和交叉注意力机制： ```python import torch import torch.nn as nn # 多头注意力机制 class MultiHeadAttention(nn.Module): def __init__(self, d_model, num_heads): super(MultiHeadAttention, self).__init__() self.num_heads = num_heads self.d_model = d_model assert d_model % num_heads == 0 self.depth = d_model // num_heads self.query = nn.Linear(d_model, d_model) self.key = nn.Linear(d_model, d_model) self.value = nn.Linear(d_model, d_model) self.fc = nn.Linear(d_model, d_model) def split_heads(self, x, batch_size): x = x.view(batch_size, -1, self.num_heads, self.depth) return x.permute(0, 2, 1, 3) def forward(self, query, key, value, mask=None): batch_size = query.size(0) # 线性变换 query = self.query(query) key = self.key(key) value = self.value(value) # 拆分头 query = self.split_heads(query, batch_size) key = self.split_heads(key, batch_size) value = self.split_heads(value, batch_size) # 计算注意力 scores = torch.matmul(query, key.transpose(-1, -2)) / torch.sqrt(torch.tensor(self.depth).float()) if mask is not None: scores += mask * -1e9 attention = nn.Softmax(dim=-1)(scores) context = torch.matmul(attention, value) # 合并头 context = context.permute(0, 2, 1, 3).contiguous() context = context.view(batch_size, -1, self.d_model) # 线性变换 output = self.fc(context) return output, attention # 交叉注意力机制 class CrossAttention(nn.Module): def __init__(self, d_model): super(CrossAttention, self).__init__() self.query = nn.Linear(d_model, d_model) self.key = nn.Linear(d_model, d_model) self.value = nn.Linear(d_model, d_model) self.fc = nn.Linear(d_model, d_model) def forward(self, query, key, value, mask=None): # 线性变换 query = self.query(query) key = self.key(key) value = self.value(value) # 计算注意力 scores = torch.matmul(query, key.transpose(-1, -2)) / torch.sqrt(torch.tensor(query.size(-1)).float()) if mask is not None: scores += mask * -1e9 attention = nn.Softmax(dim=-1)(scores) context = torch.matmul(attention, value) # 线性变换 output = self.fc(context) return output, attention ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值