self-attention——自注意力机制

最新推荐文章于 2024-06-13 12:54:24 发布
最新推荐文章于 2024-06-13 12:54:24 发布
阅读量887 收藏 1
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bbwqsb/article/details/117451896
版权

self-attention——Transformer


self-attention出来后 RNN逐渐被取缔。

向量的形式
  1. 声音向量
  2. 图中的每个结点
机制流程

先计算某个向量和其他向量之间的关联性。
在这里插入图片描述
W q W^q Wq、 W v W^v Wv是两个矩阵， a 1 a1 a1和 a 2 a2 a2乘以这两个矩阵后得到两个向量 q q q , k ,k ,k，再点乘得到attention的分数 α α α
在这里插入图片描述
得到后attention的分数 α α α后再对每个 a i a^i ai乘以一个矩阵得到对应的 v i v^i vi，再求和得 b = Σ b=\Sigma b=Σ a v av av
在这里插入图片描述
我们要训练的参数就是 W K W^K WK, W Q W^Q WQ, W V W^V WV

多头注意力机制

在这里插入图片描述

在这里插入图片描述

缺点

缺点是表示位置信息不好，但是也可以加入位置编码。

适用范围

输入是一排向量

CNN和self-attention的关系

具体可以参考下篇论文，这里我也没太懂
On the Relationship between Self-Attention and Convolutional Layers
在这里插入图片描述

CNN是划分卷积核，而self-attention是自己学习出卷积核大小。CNN在数据较小的时候得到的性能较好，而self-attention在数据较大的时候性能更好。

self-attention和RNN的关系

self-attention可以一波产生，RNN是递进产生。
参考下面一篇文章
Transformers are RNNs: Fast Autoregressive Transformers with Linear Attention

self-attention for Graph

就是一种GNN

_Hsiung
关注
专栏目录
Yolov8改进---注意力机制：Polarized Self-Attention，效果秒杀CBAM、SE
05-08 2440
Polarized Self-Attention自注意力加入yolov8优化/改进，效果秒杀CBAM、SE
引领Yolov8创新潮流：Polarized Self-Attention注意力机制的惊艳登场
一直在水些技术小文
11-11 353
通过对Polarized Self-Attention注意力机制的深入解析和实际案例的展示，我们看到了这一改进在目标检测任务中的显著性能提升。Yolov8不仅保持着领先地位，而且在不断引入创新技术的同时，为目标检测领域注入了新的活力。期待Polarized Self-Attention这一新型注意力机制在未来的发展中，继续引领Yolov8的创新潮流，推动目标检测技术不断进步。
自注意力机制和全连接的图卷积网络(GCN)有什么区别联系？
小白学视觉
07-01 1351
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达本文整理自知乎问答，仅用于学术分享，著作权归作者所有。如有侵权，请联系后台作删文处理。观点一作者｜Guohao Lihttps://www.zhihu.com/question/366088445/answer/1023290162来说一下自己的理解。首先结论是大部分GCN和Self-attention...
【深度学习】04-01-自注意力机制（Self-attention）-李宏毅老师21&22深度学习课程笔记
星辰不问
06-23 1876
【深度学习】04-01-自注意力机制（Self-attention）-李宏毅老师21&22深度学习课程笔记
自注意力机制
静妮子的博客
09-29 1089
self-attention
【Transformer 相关理论深入理解】注意力机制、自注意力机制、多头注意力机制、位置编码
qq_38253797的博客
10-26 2万+
transformer原理
注意力机制
m0_46902739的博客
04-14 3146
基本定义：由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案一般还是用软性注意力机制来处理神经网络的问题。soft attention：在encoder中每一个输出都会计算一个概率hard attention：encoder中只寻找需要的那个计算概率。
【Transformer】自注意力机制Self-Attention ｜ 各种网络归一化Normalization
RickieLim的博客
08-08 3615
Transformer是一个sequence-to-sequence。也就是input和output都是sequence。而output的sequence，可以是定长的，也可以是和input一样长的，也可能是我们不知道有多长的需要机器自己判别的。例如：语音辨识，声音讯号–>文本，这个场景下的output就是机器自己决定的。机器翻译同理。文本 & 声音讯号互转 案例：中文文字---->台语/闽南语点击精准空降。
YOLOv10涨点改进：注意力魔改 |极化自注意力Polarized Self-Attention，一种更加精细的双重注意力机制，即插即用，效果秒杀CBAM、SE
05-31 890
提出了一种更加精细的双重注意力机制——极化自注意力（Polarized Self-Attention），效果优于CBAM、SE等经典注意力
YOLOv8改进 | 注意力机制 | 正确的 Self-Attention 与 CNN 融合范式，性能速度全面提升【独家创新】
最新发布
kay_545
06-13 1324
YOLOv8改进，yolov8，添加注意力机制
部分注意力机制的优缺点
SLCWYF的博客
11-22 4376
请注意，上述的优缺点是一般性的观点，具体性能可能因任务和数据集而异。在选择注意力机制时，建议根据具体任务需求和计算资源的可用性进行仔细评估。
浅谈Attention与Self-Attention，一起感受注意力之美
little_spice的博客
07-29 2776
2017年的某一天,Google机器翻译团队发表了《AttentionisAllYouNeed》这篇论文，犹如一道惊雷，Attention横空出世了！（有一说一，这标题也太他喵嚣张了，不过人家有这个资本(oﾟ▽ﾟ)o）很快Attention就被推上了神坛，搭载着犹如核弹的Transformer，Bert出现了，在NLP的各个任务上屠榜，后来预训练模型遍地开花，在NLP的各个领域大放异彩。让人一度觉得NLP只需要一个Transformer就够了。......
注意力机制的详细理解
qq_36717487的博客
08-03 3980
对于矩阵A(m×n),B(n×m)和C(m×n), 这里A(m×n)表示A是m行乘n列的矩阵。一个for循环是O(n),这里是三个for循环，所以为O(n×m×n)。（ps：个人感觉还是看代码比较好理解，后面三个矩阵乘法时，就会更加体会到）读者也许想不到，制约 Attention 性能的关键因素，其实是定义里边的 Softmax！如果A×B，那么复杂度为O(n×m×n),即O(n^2×m)。对于矩阵A(n×m),B(m×n), 这里A(n×m)表示A是n行乘m列的矩阵。........
Transformer：注意力机制（attention）和自注意力机制（self-attention）的学习总结
热门推荐
目前涉及领域：目标检测，语义分割以及数字图像处理
09-04 5万+
本文主要分为两个部分： 第一部分重点介绍了注意力机制的原理、公式演变、评分函数以及多头注意力。 第二部分重点介绍了自注意力机制的原理、优缺点以及和注意力机制的区别，并最后给出了单头和多头自注意力机制的图片示例。
Transformers are RNNs: Fast Autoregressive Transformers
AI天才研究院
08-28 469
作者：禅与计算机程序设计艺术 1.简介 在近几年来，语言模型预训练技术取得了非常大的进步。语言模型的本质就是用自回归序列到序列(Seq2Seq)的方式预训练一个神经网络模型。传统的 Seq2Seq 模型的训练通常是通过最大似然损失函数，通过反向传播更新参数，这种方法虽然简单易懂，但是速度慢而且收敛困难，
self-attention原理和改进方向
zhufenghao
11-26 7258
1. self-attention原理介绍 形象化解释：The Illustrated Transformer 哈佛代码介绍：The Annotated Transformer 论文解读：Attention Is All You Need - The Transformer 2. self-attention改进方向 先放资源，后面再解析 腾讯AI LAB github论文 发现一个每周论文的博客 3. self-attention在其他领域尝试 self-attention序列数据分析：attent
BERT基础（一）：self_attention自注意力详解
杨丹的博客
11-05 1万+
BERT中的主要模型为Transformer，而Transformer的主要模块就是self-attention。为了更好理解bert，就从最基本的self-attention 开始。之后的博文则一步一步推进到bert。 参考：李宏毅2019年新增课程 week 15 transformer 课程笔记 视频及课件地址：https://www.bilibili.com/video/av65521...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值