13 Multi-Head Self-Attention（从空间角度解释为什么做多头）

已于 2023-10-22 09:56:58 修改
阅读量100 收藏
点赞数
分类专栏： 数据中台 管理体系 数字孪生 文章标签： 语言模型 人工智能
于 2023-10-21 16:55:32 首次发布
沧海之巅
本文链接：https://blog.csdn.net/linjie_830914/article/details/133963560
版权

上节课回顾

0：40

Attention

img

Self-Attention

Self-Attention 其实是 Attention 的一个具体做法

给定一个 X，通过自注意力模型，得到一个 Z，这个 Z 就是对 X 的新的表征（词向量），Z 这个词向量相比较 X 拥有了句法特征和语义特征

img

Multi-Head Self-Attention（多头自注意力）

Z 相比较 X 有了提升，通过 Multi-Head Self-Attention，得到的 Z ′ Z{'}

了解本专栏 订阅专栏 解锁全文 超级会员免费看
沧海之巅
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
改进YOLOv5系列：结合CVPR2021：多头注意力Efficient Multi-Head Self-Attention
qq_44224801的博客
06-01 1422
本文提出了一个高效的多尺度视觉变换器，称为ResT，它可以作为图像识别的通用支柱。可以作为图像识别的通用骨干。不同于现有的变换器方法，采用标准的变换器模块来处理具有固定分辨率的原始图像。构建了一个内存高效的多头自关注，它通过简单的深度卷积压缩了内存。构建了一个内存高效的多头自我注意，它通过一个简单的深度卷积来压缩内存，并将交互作用投射到整个注意力-头的维度，同时保持多头的多样性能力；(2)位置编码被构建为空间注意，它更加灵活，可以处理任意的输入图像。
详解Transformer中Self-Attention以及Multi-Head Attention
热门推荐
霹雳吧啦Wz
06-11 12万+
原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完tit_iti​时刻后的数据才能计算ti+1t_{i+1}ti+1​时刻的数据，但Transformer可以）。在这篇文章中作者提出了S
Self -Attention、Multi-Head Attention、Cross-Attention
大鹏的专栏
11-24 3万+
Self -Attention是一端的注意力机制。Cross-Attention是两端的注意力机制，然后合起来。
Multi-head Self-attention（多头注意力机制）
jcandzero的博客
10-07 5646
Multi-head Self-attention（多头注意力机制）是怎么样的实现过程
零基础学习Transformer：multi-head self-attention layer and multi-head attention layer
poppy
01-22 1841
Multi-Head Attention Multi-Head Self-Attention 单头self-attention layer就是由单一的self-attention构成。多头self-attention是由多个单头self-attention组成，其具有单独的参数矩阵，互相不共享参数。 在多头self-attention layer中，单头self-attention的输入都是相同的，但是参数矩阵不相同，因此不同的单头self-attention的输出c矩阵也是不相同的。将多个单头self
【深度学习】李宏毅2021/2022春深度学习课程笔记 - (Multi-Head)Self-Attention (多头)自注意力机制 + Pytorch代码实现
知不足而奋进，望远山而前行
10-25 2万+
通过前面的分析，这就引出了 Self-attention 自注意力机制。输入整个语句的向量到self-attention中，输出对应个数的向量，再将其结果输入到全连接网络，最后输出标签。如此一来，FC考虑的就是全文的数据，而非窗口内的数据或部分数据当然，以上过程可多次重复，如下图所示Google 根据自注意力机制在《Attention is all you need》中提出了 Transformer 架构。
Multi- Head self-Attention 机制详解
qq_43703185的博客
09-13 3865
原文链接：https://www.jianshu.com/p/e647d3a10d9c 在「拆 Transformer 系列一：Encoder-Decoder 模型架构详解」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特征。 现在，我还要打算继
Transformer中的Self-Attention以及Multi-Head Self-Attention（MSA）
Le0v1n 的博客
06-25 1995
Transformer中的Self-Attention以及Multi-Head Self-Attention（MSA）
Multi-head整理—为什么 Transformer 需要进行 Multi-head Attention？
咕噜咕噜
10-13 4368
一.Attention is all you need论文中讲模型分为多个头，形成多个子空间，每个头关注不同方面的信息。 如果Multi-Head作用是关注句子的不同方面，那么不同的head就应该关注不同的Token；当然也有可能是关注的pattern相同，但是关注的内容不同，即V不同。 但是大量的paper表明，transformer或Bert的特定层有独特的功能，...
基于Multi-head Attention和Bi-LSTM的实体关系分类
05-06
因此本文在已有研究基础上，引入多头注意力机制（Multi-head attention），旨在让模型从不同表示空间上获取关于句子更多层面的信息，提高模型的特征表达能力.同时在现有的词向量和位置向量作为网络输入的基础上，...
基于多头自注意力和并行混合模型的文本情感分析-论文
07-08
其次,借助双层多头自注意力机制（double layer multi-head self-attention,DLMA）学习文本内部的词依赖关系,捕获其内部结构特征;再次,使用并行的双向门限循环神经网络（bi-directional gated recurrent nnit,BiGRU）...
2101868-周文莉1
08-03
本文主要涉及了几个关键概念，包括词嵌入（Embedding）、位置编码（Positional Encoding）、注意力机制（Attention Mechanism）、自注意力（Self-Attention）、Transformer的自注意力结构、多头注意力（Multi-Head ...
L12-注意力机制1
08-04
5. 多头注意力（multi-head attention）：这种注意力机制可以让模型同时关注多个方面的信息，从而提高模型的性能。 三、Transformers Transformers是一种完全基于注意力机制的神经网络结构，它可以应用于自然语言...
Transformer 模型主要由以下几个部分组成.docx
06-11
编码器层（Encoder Layer）：由多个相同的编码器模块堆叠而成，每个模块包含一个多头自注意力层（Multi-Head Self-Attention Layer）和一个前馈神经网络（Feed-Forward Neural Network）。 解码器层（Decoder Layer...
武汉星起航：挂牌上海股权中心，资本赋能共绘跨境电商繁荣新图景
m0_74145751的博客
06-22 527
同时，公司的品牌效应也将助力其在亚马逊市场上树立更加专业的形象，提升客户的信任度和忠诚度。这一里程碑式的举措不仅彰显了公司的雄厚实力，更为其在亚马逊市场的发展带来了诸多优势。武汉星起航的成功挂牌标志着其发展的新起点，凭借资本市场的强大支持，公司必将持续强化自身实力，扩大市场影响力，为客户提供卓越服务。展望未来，武汉星起航将继续引领行业创新，为亚马逊市场的繁荣贡献源源不断的动力，共同书写跨境电商的新辉煌篇章。这不仅为公司带来了更为充足的资金流，也为其在亚马逊市场的持续投入和快速发展提供了坚实的保障。
内积知识点小记
liujianjun1536500976的专栏
06-21 1408
对于两个向量a = [a₁, a₂,…, aₙ]和b = [b₁, b₂,…, bₙ]，它们的点积定义为：a·b = a₁b₁ + a₂b₂ + … + aₙbₙ。使用矩阵乘法，把（纵列）向量当作n×1 矩阵，点积也可以写为：a·b = (a^T) * b，这里的a^T指示矩阵a的转置。
pytorch库 03 基础知识
最新发布
weixin_42830015的博客
06-24 839
pytorch库 03 基础知识
Midjourney绘画提示词精选：提升AI艺术创作的秘诀
weixin_42132035的博客
06-22 1908
在AI艺术创作领域，MidJourney作为一款强大的绘画生成工具，受到了越来越多艺术家和设计师的青睐。通过提供简洁但富有创意的提示词，可以帮助MidJourney生成令人惊叹的艺术作品。在本文中，我们将分享一些精选的MidJourney绘画提示词，助你在AI艺术创作中取得更好的效果。
Multi-Head Self-Attention与Multi-Head Attention的中文
05-14
Multi-Head Self-Attention和Multi-Head Attention都是自注意力机制（self-attention）的变种，具体含义如下： - Multi-Head Self-Attention（多头自注意力）：是指将输入的序列分别经过多个不同的线性变换，得到多组不同的注意力分布，然后将这些注意力分布加权求和，得到最终的自注意力表示。这种方法常用于Transformer模型中，可以增强模型的表达能力。 - Multi-Head Attention（多头注意力）：是指将输入的两个序列（通常是查询序列和键值序列）分别经过多个不同的线性变换，得到多组不同的注意力分布，然后将这些注意力分布加权求和，得到最终的注意力表示。这种方法常用于序列到序列模型中，可以实现对不同位置信息的集成和关联。 需要注意的是，Multi-Head Self-Attention和Multi-Head Attention的主要区别在于输入序列的不同，前者是一个序列，后者是两个序列。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沧海之巅

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值