Multi-head Self-attention

最新推荐文章于 2024-03-17 14:50:26 发布
最新推荐文章于 2024-03-17 14:50:26 发布
阅读量1.1k 收藏 1
点赞数
文章标签： 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40133804/article/details/116530564
版权
多头自注意力机制允许在不同的表示空间中捕获输入序列的不同方面。通过使用多个注意力头，每个头产生不同的上下文表示，这些表示随后被组合以生成最终输出。这种机制在计算机视觉和其他领域中用于提取更丰富的特征。
摘要由CSDN通过智能技术生成

Multi-head Self-attention

在这里插入图片描述
在这里插入图片描述

一个Attention获得一个表示空间，如果多个Attention，则可以获得多个不同的表示空间。以2个head为例，a所得到的q，k，v可以进一步乘以两个变换矩阵W成为q1,q2,k1,k2,v1,v2.

图中的例子只有两个输入ai与aj，qi1与ki1做attention，qi1与kji做attention，分别乘以各自的v1后得到bi1。同理，qi2与ki2做attention，qi2与kj2做attention，可以得到bi2.

在这里插入图片描述

bi1与bi2 concate，最后通过降维得到与原始输入维度大小一样的输出。

在这里插入图片描述

不同的head关注的结果也会不同，如上图所示，红色与绿色分别是不同的head关注的讯息。

程序小翰
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Transformer】multi-head self-attention 多头自注意力机制
m0_51579041的博客
05-02 767
【Transformer】multi-head self-attention 多头自注意力机制
【YOLOv8改进 - 注意力机制】 MHSA：多头自注意力（Multi-Head Self-Attention）
最新发布
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-01 622
我们介绍了BoTNet，这是一个概念简单但功能强大的骨干架构，将自注意力引入多个计算机视觉任务，包括图像分类、物体检测和实例分割。通过仅在ResNet的最后三个瓶颈块中用全局自注意力替换空间卷积，而不进行其他更改，我们的方法在实例分割和物体检测任务上显著提升了基线性能，同时减少了参数，延迟方面的开销也极小。通过设计BoTNet，我们还指出了带自注意力的ResNet瓶颈块可以视为Transformer块。
Attention_self attention_multi head attention
08-08
该文档主要介绍了attention及其变种self attention 、multi-attention以及一些相关的paper
Multi-head Self-attention（多头注意力机制）
jcandzero的博客
10-07 5747
Multi-head Self-attention（多头注意力机制）是怎么样的实现过程
Multi- Head self-Attention 机制详解
qq_43703185的博客
09-13 4009
原文链接：https://www.jianshu.com/p/e647d3a10d9c 在「拆 Transformer 系列一：Encoder-Decoder 模型架构详解」中有简单介绍 Attention，Self-Attention 以及 Multi-Head Attention，都只是在直观上介绍 Attention 的作用，如何能够像人的视觉注意力机制那样，记住关键信息，并且也介绍了 Self-Attention 机制如何能通过对自身注意力加权来学习句子内部结构以及一些语法特征。 现在，我还要打算继
注意力机制（Attention）、自注意力机制(Self Attention)和多头注意力(Multi-head Self Attention)机制详解
CV在读
11-13 7937
简单理解：多组自注意力机制并行运行，最后把结果拼接起来。
LLM基础｜关于Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）
weixin_49659123的博客
09-01 2080
本文深入一下Self-Attention（自注意力机制）以及 Multi-head Attention（多头注意力机制）的原理以及计算过程，主要的参考资料是台大李宏毅教授的授课内容，同时增加了一些从其他文章那里参考的细节，以及一些些个人的理解和心得。
A Supervised Multi-Head Self-Attention Network for Nested NE.pdf
09-17
本篇文章介绍了一种针对嵌套命名实体识别（Nested Named Entity Recognition, NER）的监督多头自注意力神经网络模型。命名实体识别是自然语言处理（Natural Language Processing, NLP）中的一个重要任务，旨在识别...
改进YOLOv5系列：结合CVPR2021：多头注意力Efficient Multi-Head Self-Attention
qq_44224801的博客
06-01 1513
本文提出了一个高效的多尺度视觉变换器，称为ResT，它可以作为图像识别的通用支柱。可以作为图像识别的通用骨干。不同于现有的变换器方法，采用标准的变换器模块来处理具有固定分辨率的原始图像。构建了一个内存高效的多头自关注，它通过简单的深度卷积压缩了内存。构建了一个内存高效的多头自我注意，它通过一个简单的深度卷积来压缩内存，并将交互作用投射到整个注意力-头的维度，同时保持多头的多样性能力；(2)位置编码被构建为空间注意，它更加灵活，可以处理任意的输入图像。
Multi-Head Self-Attention
weixin_45704823的博客
04-14 389
在示例的最后部分，我们创建一个多头自注意力层并将其应用于输入张量。
【深度学习】从self-attention到transformer（Multi-head self-attention）
五好市民金闪闪的博客
07-25 608
简介 今天讲以self-attention为基础讲解它的升级版 Muti-head self-attention，不了解self-attention的童鞋可以戳这里【深度学习】从self-attention到transform（self-attention入坑指南） 废话不说，正式开始。 为什么要使用Multi-head self-attention？ 单纯从字面意思看，Multi-head self-attention比self-attention多了Multi-head，它的意思为多头。可以理解为多种
Self-Attention 、Multi-Head Attention
W1995S的博客
07-06 402
转载大佬： https://blog.csdn.net/qq_37541097/article/details/117691873 原文名称：Attention Is All You Need 原文链接：https://arxiv.org/abs/1706.03762 最近Transformer在CV领域很火，Transformer是2017年Google在Computation and Language上发表的，当时主要是针对自然语言处理领域提出的（之前的RNN模型记忆长度有限且无法并行化，只有计算完
self-attention和multihead-attention原理，代码实现
weixin_39417324的博客
12-11 2113
self attention multihead attention
attention终极版本multhead-self-attention，代码实现（直接复制粘贴，可以直接运行）
qq_38148600的博客
11-16 1294
mult-self-attention终于实现了，下面附上可以直接运行的代码。 # 构造mutil head attention层 class MutilHeadAttention(tf.keras.layers.Layer): def __init__(self, d_model, num_heads): super(MutilHeadAttention, self).__init__() self.num_heads = num_heads s
Self -Attention、Multi-Head Attention、Cross-Attention
热门推荐
大鹏的专栏
11-24 3万+
Self -Attention是一端的注意力机制。Cross-Attention是两端的注意力机制，然后合起来。
自注意力(Self-Attention)与Multi-Head Attention机制详解
weixin_60737527的博客
10-21 1万+
self-attention，multi-head attention原理详解
Transformer中的Self-Attention以及Multi-Head Self-Attention（MSA）
Le0v1n 的博客
06-25 2171
Transformer中的Self-Attention以及Multi-Head Self-Attention（MSA）
李宏毅老师multi-head self-attention
qq_45909601的博客
04-24 277
需要多少个head是需要自己调参的 在找相关性的时候使用的是q并且与k点乘，但两个事物的相关性可能有不同的种类的相关性，所以可能需要多个q，来表示多种不同的相关性， 如何得到两个不同的q，即再乘以不同的wq1，wq2，现在已经可以得到多个头了，那多个头怎么得到v？ 由于有两个头，但原理与之前一样，此时q1，q2两头，其中q1只与k1点成，在与v1点乘得到b1，q2只与k2点成，在与v2点乘得到b2 最后将b1，b2乘以某个权重 之前的ppt中只讲了如何得到各个input之间的联..
【神经网络算法】 一文搞懂Self-Attention和Multi-Head Attention
qq_39172059的博客
03-17 1410
随着Transformer模型的迅速普及，Self-Attention（自注意力机制）和Multi-Head Attention（多头注意力机制）成为了自然语言处理(NLP)领域中的核心组件。本文将从简要介绍、工作流程、两者对比三个方面，为您解析这两种注意力机制。
Multi-Head Self-Attention与Multi-Head Attention
05-14
Multi-Head Self-Attention和Multi-Head Attention都是Transformer模型中的核心模块。 Multi-Head Self-Attention是指在一个句子中每个单词使用自注意力机制（Self-Attention）来计算其上下文表示。这个过程会将每...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值