由浅到深 : Self-Attention (自注意力机制)

最新推荐文章于 2024-07-15 14:42:37 发布
最新推荐文章于 2024-07-15 14:42:37 发布
阅读量201 收藏
点赞数
分类专栏： 其他 文章标签： transformer self attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50127633/article/details/133991111
版权

Self-Attention

看到下面的第一个saw是动词，第二个saw是名词。
在这里插入图片描述
因为第一个saw和第二个saw在形式上没有任何差别。如果任务是进行词性的判断，把上面的词直接输入给神经网络，那么它肯定不能够正确分析。
在这里插入图片描述
想要正确分析词性，那么该怎么办呢？
一个解决方式就是让这个词考虑其上下文信息。可以设置一个window，考虑上下文的n个词，n是可以自己指定的。

在这里插入图片描述
如果有一个任务，不是一个短的window就可以解决的，而是考虑整个序列才行，那该怎么办呢？
很直接的想法就是把window开大一点，可以包含整个序列。这样就会有一个问题，输入给model的序列会有长有短，这样就需要统计整个训练资料，找出最长的一个序列，然后将window长度设置为该序列的长度。这样就会有一个致命的缺点：FC(full connected) 的参数会很大，这样不仅运算量很大，而且容易overfitting。

有没有更好的方法考虑输入的整个序列呢？
当前是今天的重点 Self-attention
self-attention会记录整个序列的信息，你输入几个vector，它就会输出几个vector。比如下图输入输入和输出了4个vector。

那么输出的4个vector有什么特点呢？
每个self-attention后输出的vector都是考虑了整个序列后才得到的。
输出的向量经过FC层后会进行相应的判断。
在这里插入图片描述
self attention是怎么考虑整个序列的呢？
下面的图可以看出，每个b向量都考虑了a1-a4向量。
在这里插入图片描述

输出的向量 b是怎么计算的呢？

根据a1找出与其相关的其他向量，每一个向量与a1关联的程度用一个数值α来表示。
在这里插入图片描述
怎么计算两个向量之间的关联性呢，也就是如何计算的α？
以下就是常见的计算α两种方式。例如左边的：输入向量分别乘上Wq和Wk 矩阵,得到q和k两个向量。然后再将q和k向量进行点乘得到α
,在这里插入图片描述
分别计算a1与a2、a3和a4的关联性。
在这里插入图片描述

q1一般也会跟自己计算关联性
在这里插入图片描述

计算出a1和每个向量的关联性之后，会做一个softmax得到α’。然后会根据得到的α’，得出哪些向量跟a1是最有关联的。接着会根据关联性来抽取重要的信息 。
在这里插入图片描述
怎么抽取重要的信息呢？
把输入的每个向量都乘上一个Wv得到新的向量，也就是下图的v1-v4。然后再将v1和v4都去乘上对应的α’，然后将他们加起来，就能得到考虑全局信息的b向量了。
如果某一个向量得到的分数越高，比如a1和a2的关联性很强也就是a’1,2的值很大，那么得到的b1的值就可能比较接近于v2。也就是哪个向量的attention的分数越大，那么这个向量的v就会dominate抽出来的结果。
在这里插入图片描述

后续会计算 q2与k1，k2，k3，k4、q3与k1，k2，k3，k4、q4与k1，k2，k3，k4的计算结果
在这里插入图片描述

从矩阵角度进行分析
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Wq, Wk, Wv是通过training data找出来的

在这里插入图片描述

参考自：李宏毅

一个小猴子｀
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Yolov5/Yolov7改进---注意力机制：self-attention实现涨点的同时，能够大幅减少参数量和计算量
06-30 771
stand-alone self-attention相对于传统的卷积模型，在准确率差不多的情况下，能够大幅减少参数量和计算量，并最终引入到yolov5
自然语言处理中的自注意力机制（Self-attention Mechanism）
weixin_33751566的博客
03-24 1315
自然语言处理中的自注意力机制（Self-attention Mechanism） 近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们提...
self-attention机制
Abraham Ben
08-28 7382
传统的CNN得弱点在于一般都是读取局部信息，而没有考虑整个全局的信息。此时如果使用很大的kernel size一次覆盖掉所有的输入。但是弱点有: 在机器翻译中的输入长度不定。 这种情况下的kernel参数量非常多，容易overfitting。 self-attention就是一种可以考虑全局信息的机制。相关论文为: attention is all you need self-attention可以和CNN和FC结合使用。 self-attention计算方法如下: 计算a1a^1a1与其他输入的相
Self-Attention 自注意力机制（一）——Attention 注意力机制
最新发布
qiaoxinyu1989的博客
07-15 869
Attention（注意力）机制如果浅层的理解，跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。图1可帮助大家较好地去理解注意力机制。Attention map展示了人类在看到一幅图像时，如何高效分配有限注意力资源。
自注意力机制(Self-Attention)
热门推荐
Michale_L的博客
08-27 9万+
自注意力机制
自注意力机制（Self-Attention）
lbr15660656263的博客
06-28 1346
Transformer模型中最关键部分就是自注意力（Self-Attention）机制，正如 Transformer 的论文的标题是“Attention Is All You Need”！以文本问题为例来讲解这个机制。在处理文本问题时，自注意力机制会告诉模型：在处理句子中的每个单词时，特别关注某些重要的单词，并或多或少地忽略其它单词。简单来说，就是给句子中不同单词分配不同的权重。
Self-Attention （自注意力机制）
qq_53474200的博客
06-10 896
本篇文章是机器学习的笔记（简化版）
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5641
self-attention，transformer及变形
【Linformer：Self-Attention with Linear Complexity】
gesshoo的博客
03-18 2571
论文中，展示了自注意力机制可以被一个低秩矩阵近似，利用这一发现提出了新的自注意力机制，将空间与时间计算复杂度降低到O(n)。 作者发现自注意力是低秩的，通过线性投影将原本的点乘注意力分解为多个较小的注意力，使这些运算的组合形成原始注意力的低秩因式分解。 下表是不同transformer架构的复杂度汇总： 理论： 自注意力机制矩阵，context mapping matrix P，是低秩的。 左边的图，将奇异值分解在不同的层和头运用到P， 画出每10K个句子的归一化累积奇异值平均值，结果显示
Yolov8改进---注意力机制：Polarized Self-Attention，效果秒杀CBAM、SE
05-08 2384
Polarized Self-Attention自注意力加入yolov8优化/改进，效果秒杀CBAM、SE
技术笔记:Self-Attention机制
仅用于分享论文心得和技术
03-28 2697
Self-Attention1.键值对注意力 Transformer中最核心的部分就是键值对注意力了，键值对注意力最核心的公式就是下面这个公式了，这个公式其实蕴含了很多点，这些点都要Get到。首先上面这个公式可能看起来挺难懂，但是我们可以看看下面这个公式，下面这个公式的意义是什么？先抛开Q,K,V矩阵不谈，self-Atte...
Self attention(自注意力机制)
weixin_54892004的博客
12-20 6729
论文《Attention is all you need》 一 输入：N维向量 输出：N个lable：class/sclar (词性判断) 一个label: class/sclar（一个句子判断褒贬，听声识人） 未定数量的lable,数量由机器学习（seq2seq,翻译，语音辨识） 二 输出为N个label N 是个不确定的值，具体例子为输入一句话，每句话的长短不一样。 要考虑整个句子间的联系，window就要尽可能大，过大参数会过多，并且要...
Self-attention自注意力机制
Joining667的博客
05-14 640
可变形交叉注意力模块（Deformable Cross Attention Module）是一种神经网络结构，通常用于处理具有空间结构的数据，如图像或视频数据。这种模块结合了注意力机制和可变形卷积（deformable convolution）的思想，以更好地捕捉输入数据中的空间关系和特征。
self-attention机制详解
zly_Always_be的博客
01-08 730
self-attention机制详解
深度探索：机器学习中的自注意力机制（Self-Attention）原理及应用
qq_51320133的博客
04-29 2740
自注意力机制作为一种革命性的概念，已经深刻改变了机器学习，特别是自然语言处理和计算机视觉领域的研究和实践。它通过直接建模序列中所有位置之间的关系，解决了传统模型在处理长距离依赖和全局上下文理解方面的局限性，推动了诸如Transformer这样的模型架构的发展，极大地提升了模型的性能和效率。 未来，自注意力机制的研究和发展趋势可能集中在以下几个方面： 效率优化：持续探索减少自注意力计算成本的方法，如稀疏注意力机制、近似注意力计算等，使得自注意力模型能在资源受限的设备上高效运行。 可解释性增强：提高自注意力
什么是自注意力机制（Self-attention）
蓝鲸鱼的博客
05-05 1万+
RNN网络的的输入是一个定长的向量。例如，分类网络的输入图片大小是固定的。当网络的输入变为变长的向量时，RNN网络就不再适用了，自注意力机制（Self-attention）可以解决这一问题，通过“动态”地生成不同连接地权重。 如下图所示，自注意力机制的输入为长度为NNN（NNN可变化）的向量，输出同样为长度为NNN的向量。 1. 自注意力机制的计算 自注意力机制根据各个输入向量的关联输出，使得每个输出向量包含输入向量的上下文关系。首先需要计算两个输入向量的关联α\alphaα。 如下图所示为Dot-pr
Self-Attention自注意力机制
03-06
Self-Attention自注意力机制是一种用于处理序列数据的机制，最初在Transformer模型中提出并广泛应用于自然语言处理任务。它通过计算输入序列中每个元素与其他元素之间的相关性来获取上下文信息。 Self-Attention...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值