Multi-Head self-Attention结构细节

最新推荐文章于 2024-08-05 23:14:30 发布
最新推荐文章于 2024-08-05 23:14:30 发布
阅读量817 收藏 2
点赞数
分类专栏： 深度学习 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_54039182/article/details/130520370
版权

先验知识：

Self-Attention结构细节及计算过程icon-default.png?t=N3I4https://blog.csdn.net/weixin_54039182/article/details/130515594?csdn_share_tail=%7B%22type%22%3A%22blog%22%2C%22rType%22%3A%22article%22%2C%22rId%22%3A%22130515594%22%2C%22source%22%3A%22weixin_54039182%22%7D

一、结构

        Multi-Head Attention由N个self-Attention（Self-Attention结构细节及计算过程）组成，每个self-Attention接受的K、Q、V都不同（过线性层），所以生成N个不同的Z矩阵，将N个Z矩阵拼接起来乘一个linear矩阵即得到最后的矩阵，最后的输出矩阵的形状与输入X矩阵一致。

二、Multi-head self-Attention输出

每个self-Attention接受的K、Q、V都不同（过线性层），所以生成N个不同的Z矩阵：

 

将N个矩阵拼接起来乘一个矩阵就得到了输出结果，结果与原始输入x矩阵形状一致：

Reference:Transformer模型详解（图解最完整版） - 知乎

wy08success
关注
专栏目录
Multi- Head self-Attention 机制详解
qq_43703185的博客
09-13 4066
原文链接：https://www.jianshu.com/p/e647d3a10d9c 在「拆 Transformer 系列一：Encoder-Decoder 模型架构详解」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特征。 现在，我还要打算继
Self-Attention 和 Multi-Head Attention 的区别——附最通俗理解！！
不要给自己设限，尝试更多可能（思所向 皆可往）
01-27 6423
随着Transformer模型的迅速普及，Self-Attention（自注意力机制）和Multi-Head Attention（多头注意力机制）成为了自然语言处理（NLP）领域中的核心组件。本文将从简要工作、工作流程、两者对比三个方面，解析这两种注意力。一、简要介绍使输入序列中的每个元素能够关注并加权整个序列中的其他元素，生成新的输出表示，不依赖外部信息或历史状态。Self-Attention允许输入序列中的每个元素都与序列中的其他所有元素进行交互。
详解 Self-Attention 和 Multi-Head Attention 的区别
最新发布
S0ybean的博客
08-05 958
一文读懂自注意力机制（SA）与多头注意力机制（MHA）
图解Transformer模型(Multi-Head Attention)
black_shuang的博客
07-10 1万+
本文内容主要源于Attention is all you need:https://arxiv.org/abs/1706.03762 由于本人最近在研究文本的判别式模型,如文本分类任务,所以学习了Transformer,并根据自己的理解制作了PPT介绍总结Transformer中几个比较重要的部分. 文章内容为本人制作的PPT，同时在需要解释的slide写上了补充说明; 主要内容包括 1...
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
Multi-head Self-attention（多头注意力机制）
jcandzero的博客
10-07 5813
Multi-head Self-attention（多头注意力机制）是怎么样的实现过程
2021李宏毅机器学习之Self-attention进阶版本multi-head Self-attention
weixin_43937959的博客
03-22 2190
Multi-head Self-attention  Self-attention 有一个进阶的版本,叫做 Multi-head Self-attention, Multi-head Self-attention,其实今天的使用是非常地广泛的。在作业 4 裡面,助教原来的 code 4 有,Multi-head Self-attention,它的 head 的数目是设成 2,那刚才助教有给你提示说,把 head 的数目改少一点 改成 1,其实就可以过medium baseline。  但并不代表所有的任务,
【李宏毅2020 ML/DL】P23 Transformer | Self-attention, Multi-head Self-attention
记录学习痕迹的公众号：Piper蛋窝
07-28 1206
清晰讲解了 Transformer 。
Multi-head Self-attention & 应用到图片
qq_42394917的博客
10-02 722
所以
A Supervised Multi-Head Self-Attention Network for Nested NE.pdf
09-17
它不仅能够从非结构化的文本中提取结构化的信息，也对于提高搜索引擎的准确度和效率有重要作用。 总的来说，文章的贡献在于提出了一种新颖的嵌套命名实体识别方法，通过监督多头自注意力机制有效捕捉词汇之间的关联...
multi-head-self-attention的Pytorch版本快速实现
01-08
在提供的`multi-head_self-attention-master`压缩包中，应包含以下文件： - `config.py`：可能包含了模型配置，如隐藏层大小、注意力头的数量等。 - `model.py`：应该有定义多头自注意力层的代码，包括上述步骤的...
【Transformer】multi-head self-attention 多头自注意力机制
m0_51579041的博客
05-02 829
【Transformer】multi-head self-attention 多头自注意力机制
改进YOLOv5系列：结合CVPR2021：多头注意力Efficient Multi-Head Self-Attention
qq_44224801的博客
06-01 1556
本文提出了一个高效的多尺度视觉变换器，称为ResT，它可以作为图像识别的通用支柱。可以作为图像识别的通用骨干。不同于现有的变换器方法，采用标准的变换器模块来处理具有固定分辨率的原始图像。构建了一个内存高效的多头自关注，它通过简单的深度卷积压缩了内存。构建了一个内存高效的多头自我注意，它通过一个简单的深度卷积来压缩内存，并将交互作用投射到整个注意力-头的维度，同时保持多头的多样性能力；(2)位置编码被构建为空间注意，它更加灵活，可以处理任意的输入图像。
【YOLOv8改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-01 823
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
Multi Self-Attention(多头自注意力机制）
qq_72354549的博客
06-03 4043
一下是我对李宏毅老师-自注意力机制的总结首先看图：假设我们输入有四个向量，这四个向量是有关系的，而如果我们将self-attention这个模块拿走，那么就相当于是把这四个输入当作毫无关系的向量进行处理然后得到四个输出。所以：self-attention这个模块的作用就是将这四个输入联系起来使我们的输出与这四个输入都有关。
【深度学习】从self-attention到transformer（Multi-head self-attention）
五好市民金闪闪的博客
07-25 618
简介 今天讲以self-attention为基础讲解它的升级版 Muti-head self-attention，不了解self-attention的童鞋可以戳这里【深度学习】从self-attention到transform（self-attention入坑指南） 废话不说，正式开始。 为什么要使用Multi-head self-attention？ 单纯从字面意思看，Multi-head self-attention比self-attention多了Multi-head，它的意思为多头。可以理解为多种
【深度学习】李宏毅2021/2022春深度学习课程笔记 - (Multi-Head)Self-Attention (多头)自注意力机制 + Pytorch代码实现
热门推荐
知不足而奋进，望远山而前行
10-25 2万+
通过前面的分析，这就引出了 Self-attention 自注意力机制。输入整个语句的向量到self-attention中，输出对应个数的向量，再将其结果输入到全连接网络，最后输出标签。如此一来，FC考虑的就是全文的数据，而非窗口内的数据或部分数据当然，以上过程可多次重复，如下图所示Google 根据自注意力机制在《Attention is all you need》中提出了 Transformer 架构。
LLM基础｜关于Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）
weixin_49659123的博客
09-01 2223
本文深入一下Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）的原理以及计算过程，主要的参考资料是台大李宏毅教授的授课内容，同时增加了一些从其他文章那里参考的细节，以及一些些个人的理解和心得。
Self-Attention 、Multi-Head Attention
W1995S的博客
07-06 413
转载大佬： https://blog.csdn.net/qq_37541097/article/details/117691873 原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完
Multi-Head Self-Attention与Multi-Head Attention
05-14
Multi-Head Self-Attention和Multi-Head Attention都是Transformer模型中的核心模块。 Multi-Head Self-Attention是指在一个句子中每个单词使用自注意力机制（Self-Attention）来计算其上下文表示。这个过程会将每个单词的原始表示分别映射成多个子空间，并在每个子空间中计算注意力权重，最后将这些子空间的注意力权重加权求和，得到每个单词的上下文表示。这种方式可以捕获单词之间的复杂依赖关系，并且具有可解释性。 Multi-Head Attention是指在一个句子的两个不同部分之间使用注意力机制（Attention）来计算它们之间的关系。这个过程也会将每个单词的原始表示分别映射成多个子空间，并在每个子空间中计算注意力权重，最后将这些子空间的注意力权重加权求和，得到不同部分之间的关系表示。这种方式可以捕获不同部分之间的语义关系，例如句子中的主语和谓语之间的关系。 总的来说，Multi-Head Self-Attention和Multi-Head Attention都是使用多个子空间来计算注意力权重，但是Multi-Head Self-Attention是单向的，只考虑一个句子中的单词之间的关系，而Multi-Head Attention是双向的，可以考虑两个不同的部分之间的关系。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值