搞懂到底怎么做的多头注意力

最新推荐文章于 2024-06-23 20:46:13 发布
最新推荐文章于 2024-06-23 20:46:13 发布
阅读量3.1k 收藏 31
点赞数 12
分类专栏： NLP 文章标签： 机器学习 深度学习 算法 人工智能 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_45478865/article/details/112471232
版权

假设我们有个句子“数学应用题”，每一个字用一个64维的向量表示
也就是下面的每一个有颜色的一条框。

自注意力

我们如何做自注意力呢：
下面几幅图展示了这个过程
在这里插入图片描述
在这里插入图片描述
不再一个一个展示，假设最终到下面这幅图
在这里插入图片描述
因为句子长度是5，所以我们得到的是(5,5)的矩阵。
经过softmax之后，第一行表示的含义就是“数”这个字，对整个句子"数学应用题"的每一个字的相关程度.这一行就可以看成关于数字“数”的权重，然后对整个矩阵加权求和，如下图（为了简便，我没有softmax，知道这个意思就好）
在这里插入图片描述
以此类推，就得到了注意力矩阵，形状是(5,64)，如下图右上角矩阵
在这里插入图片描述

多头注意力

图中每一行有64维，假设我们要四个头，那么每个头显然是16维度
在这里插入图片描述
各个头之间是一起计算各自的注意力的，计算方式就是上面介绍的自注意力的计算方式。
所以我们最终会得到：
在这里插入图片描述四个注意力矩阵，此时我们得到的张量的形状是(4,5,16)

注意虽然每一个头的颜色一样，但矩阵的值肯定是不一样的。最终将四个矩阵拼接，得到的注意力矩阵形状是(5,64)

xhsun1997
关注
  • 12
    点赞
  • 踩
  • 31
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Transformer中16个注意力头一定要比1个注意力头效果好吗？
abcdefg90876的博客
03-31 4285
作者：Paul Michel编译：ronghuaiyang导读多头注意力中的冗余分析，看看是否可以在不影响性能的情况下做剪枝。“Hercules Slaying the Hydra”,...
多头注意力（Multi-Head Attention）和交叉注意力（Cross-Attention）是两种常用的注意力机制的原理及区别
ywfwyht的博客
10-16 2万+
在类的初始化函数中，我们需要设置注意力头数num_heads，以及每个注意力头的k维度k_dim和v维度v_dim。在前向传播函数中，我们使用全连接层将x1投影到k_dim * num_heads维度，x2投影到k_dim * num_heads和v_dim * num_heads的空间，再将结果按注意力头和k_dim/v_dim维度进行调整。注意力计算完成后，将得分与v相乘，再将结果按注意力头和v_dim维度进行调整，最终使用全连接层将结果投影会in_dim维度，即可得到多头注意力计算的结果。
多头注意力机制（Multi-Head Attention）
最新发布
帆的博客
06-23 666
多头注意力机制的引入是为了增强模型的能力，使其能够从不同的角度关注输入序列的不同部分，从而捕捉更多层次的信息。其中 (i) 表示第 (i) 个头，(\mathbf{W}_i^Q, \mathbf{W}_i^K, \mathbf{W}_i^V) 是线性变换矩阵。如果有 (h) 个头，每个头的输出维度是 (d_k)，则连接后的维度为 (h \times d_k = d_{model})。假设输入的维度是 (d_{model})，头的数量是 (h)，每个头的维度是 (d_k = d_{model} / h)。
精（李沐）多头注意力，代码理解
简单记录生活、学习
01-11 7119
import torch from torch import nn from d2l import torch as d2l class MultiHeadAttention(nn.Module): """多头注意力""" def __init__(self, key_size, query_size, value_size, num_hiddens, num_heads, dropout, bias=False, **kwargs): super(MultiHead..
注意力机制——Multi-Head Attention（MHA）
weixin_50752408的博客
03-16 1万+
对于一个给定的查询向量，MHA 会对键向量进行加权求和，权重由查询向量和键向量之间的相似度计算得到，然后将得到的加权和乘以值向量进行输出。在多头机制下，输入的序列数据会被分成多个头，每个头进行独立的计算，得到不同的输出。其中 Q, K, V 分别表示查询向量、键向量和值向量，ℎ 表示头的数量，headi​ 表示第 i 个头的输出，WO 是输出变换矩阵。其中 dk​ 是键向量的维度，softmax相似度进行归一化，将每个键向量的权重计算出来，然后将权重乘以值向量，最后进行加权求和得到注意力输出。
多头注意力机制的理解
热门推荐
ningyanggege的博客
05-04 9万+
先来看图： 从图片中可以看出VK Q是固定的单个值，而Linear层有3个，Scaled Dot-Product Attention有3个，即3个多头；最后cancat在一起，然后Linear层转换变成一个和单头一样的输出值；类似于集成；多头和单头的区别在于复制多个单头，但权重系数肯定是不一样的；类比于一个神经网络模型与多个一样的神经网络模型，但由于初始化不一样，会导致权重不一样，然后...
NLP学习之：BERT代码复现（3）self-attention 和 MultiHead 多头注意机制
qq_42902997的博客
10-23 1150
【代码】NLP学习之：BERT代码复现（3）self-attention 和 MultiHead 多头注意机制。
图注意力网络tensorflow
06-17
图注意力网络将注意力机制引入到基于空间域的图神经网络中，与传统的基于谱域的图卷积神经网络（GCN）不同，GAT不需要使用拉普拉斯等矩阵进行复杂...引入多头注意力（multi-head attention）机制来提高模型的表征能力。
大白话注意力机制-Attention
06-20
此外，还有一些变种的注意力机制，如自注意力（Self-Attention）和多头注意力（Multi-Head Attention），它们进一步增强了模型的表达能力。自注意力允许模型在不依赖外部信息的情况下关注序列内的不同位置。多头注意...
tention-cnn：“关于自注意力和卷积层之间的关系”的源代码
02-21
这项工作提供了证据表明注意力层可以进行卷积，实际上，他们经常在实践中学会这样做。 具体来说，我们证明具有足够数量的头的多头自我注意层至少与任何卷积层一样强大。 然后，我们的数值实验表明该现象也在实践中...
注意力机制作为一种重要的深度学习技术，已经在人工智能领域得到了广泛应用.pdf
06-03
1. **多头注意力（Multi-head Attention）**：这种机制允许模型同时关注输入信息的不同方面，通过并行计算的方式提高了信息处理的能力。多头注意力在自然语言处理任务中尤为常见，例如Transformer模型中的自注意力...
做空做多通达信指标公式源码.doc
08-11
4. **多头**：如果当前做空值大于前一个做空值，表示做空力量增强，画出红色线条，作为多头买入提示。 5. **空头**：反之，如果当前做空值小于前一个做空值，表示做空力量减弱，画出绿色线条，作为卖出信号。 6. *...
Transformer 之多头注意力
hellozhxy的博客
06-12 2152
写在前边：学习 Transformer 的过程中，找到了博客中关于Transformer系统的介绍文章，感觉非常棒，于是进行了翻译。原文链接在文末。翻译主要采用 “DeepL+人工”的方式进行，并加入了一些自己的理解。
MultiHeadAttention多头注意力机制的原理
tostq的专栏
04-17 1万+
MultiHeadAttention多头注意力作为Transformer的核心组件，其主要由多组自注意力组合构成，Attention Is All You Need，self-attention。
注意力机制（四）：多头注意力
qq_51957239的博客
03-23 1万+
多头注意力（Multi-Head Attention）是注意力机制的一种扩展形式，可以在处理序列数据时更有效地提取信息。 在标准的注意力机制中，我们计算一个加权的上下文向量来表示输入序列的信息。而在多头注意力中，我们使用多组注意力权重，每组权重可以学习到不同的语义信息，并且每组权重都会产生一个上下文向量。最后，这些上下文向量会被拼接起来，再通过一个线性变换得到最终的输出。
多头注意力机制（Multi-head Attention）及其在PyTorch中的使用方法分析
Coding Base
11-30 2万+
内容目录简介多头注意力机制注意力机制到底在干什么PyTorch中怎么用API 简介 多头注意力（Multi-Head Attention）机制是当前大行其道的Transformer、BERT等模型中核心的组件，但我一直没懂其内部到底是怎么做的，PyTorch提供的接口的众多参数也弄不清怎么用。今天抽个时间，结合论文和PyTorch源码，深入学习一下到底是怎么回事。 仅为个人理解，如有错误敬请指出！ 多头注意力机制 Multi-Head Attention可以表示为： MultiHeadAttention(Q
【深度学习】多头注意力机制详解
weixin_44624036的博客
06-03 7139
【深度学习】多头注意力机制详解
注意力机制（四）（多头注意力机制）
十二月的猫
04-28 2476
前文，我们介绍了自注意力机制：自注意力的QKV是同源的。同源的好处就是更容易发现序列内部的信息，但是也存在一些可以改进的地方。例如：对于一个待分析的序列矩阵，它存在许多方面的特征。此时我们要用一个参数矩阵Wq、Wk去分析并学习出序列中的这么多特征。由于参数矩阵的维度是有限的，所以一次性学习多特征的信息必然会造成信息学习的模糊性，所以作者又提出了多头注意力机制下图为多头注意力机制模型图：它为注意力机制提供了多个投射子空间的可能。
多头注意力机制的概念、具体流程以及相关代码
mjssdhy的博客
03-30 1万+
1、多头注意力的概念 自注意力模型可以看作为在一个线性投影空间中建立输入向量中不同形式之间的交互关系。多头注意力就是在多个不同的投影空间中建立不同的投影信息。将输入矩阵，进行不同的投影，得到许多输出矩阵后，将其拼接在一起。 从下图中可以看出V K Q 是固定的单个值，而Linear层有3个，Scaled Dot-Product Attention 有3个，即3个多头；最后cancat在一起，然后Linear层转换变成一个和单头一样的输出值；类似于集成；多头和单头的区别在于复制多个单头，但权重系数肯定是不一样
多头注意力与通道注意力
03-01
多头注意力和通道注意力是在深度学习中常用的注意力机制。 多头注意力是指将输入的特征进行多次不同的线性变换，然后分别计算每个变换后的特征与查询向量的相似度，再通过softmax函数得到每个变换的注意力权重，...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值