由浅到深 : Self-Attention (自注意力机制)

最新推荐文章于 2024-10-15 17:58:07 发布
最新推荐文章于 2024-10-15 17:58:07 发布
阅读量210 收藏
点赞数
分类专栏： 其他 文章标签： transformer self attention
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50127633/article/details/133991111
版权
文章探讨了在自然语言处理中，Self-Attention机制如何解决词性判断时的上下文依赖问题，通过窗口大小扩展和注意力权重计算，使得模型能够考虑整个序列，减少参数过拟合，实现对输入向量的有效整合。
摘要由CSDN通过智能技术生成

Self-Attention

看到下面的第一个saw是动词，第二个saw是名词。
在这里插入图片描述
因为第一个saw和第二个saw在形式上没有任何差别。如果任务是进行词性的判断，把上面的词直接输入给神经网络，那么它肯定不能够正确分析。
在这里插入图片描述
想要正确分析词性，那么该怎么办呢？
一个解决方式就是让这个词考虑其上下文信息。可以设置一个window，考虑上下文的n个词，n是可以自己指定的。

在这里插入图片描述
如果有一个任务，不是一个短的window就可以解决的，而是考虑整个序列才行，那该怎么办呢？
很直接的想法就是把window开大一点，可以包含整个序列。这样就会有一个问题，输入给model的序列会有长有短，这样就需要统计整个训练资料，找出最长的一个序列，然后将window长度设置为该序列的长度。这样就会有一个致命的缺点：FC(full connected) 的参数会很大，这样不仅运算量很大，而且容易overfitting。

有没有更好的方法考虑输入的整个序列呢？
当前是今天的重点 Self-attention
self-attention会记录整个序列的信息，你输入几个vector，它就会输出几个vector。比如下图输入输入和输出了4个vector。

那么输出的4个vector有什么特点呢？
每个self-attention后输出的vector都是考虑了整个序列后才得到的。
输出的向量经过FC层后会进行相应的判断。
在这里插入图片描述
self attention是怎么考虑整个序列的呢？
下面的图可以看出，每个b向量都考虑了a1-a4向量。
在这里插入图片描述

输出的向量 b是怎么计算的呢？

根据a1找出与其相关的其他向量，每一个向量与a1关联的程度用一个数值α来表示。
在这里插入图片描述
怎么计算两个向量之间的关联性呢，也就是如何计算的α？
以下就是常见的计算α两种方式。例如左边的：输入向量分别乘上Wq和Wk 矩阵,得到q和k两个向量。然后再将q和k向量进行点乘得到α
,在这里插入图片描述
分别计算a1与a2、a3和a4的关联性。
在这里插入图片描述

q1一般也会跟自己计算关联性
在这里插入图片描述

计算出a1和每个向量的关联性之后，会做一个softmax得到α’。然后会根据得到的α’，得出哪些向量跟a1是最有关联的。接着会根据关联性来抽取重要的信息 。
在这里插入图片描述
怎么抽取重要的信息呢？
把输入的每个向量都乘上一个Wv得到新的向量，也就是下图的v1-v4。然后再将v1和v4都去乘上对应的α’，然后将他们加起来，就能得到考虑全局信息的b向量了。
如果某一个向量得到的分数越高，比如a1和a2的关联性很强也就是a’1,2的值很大，那么得到的b1的值就可能比较接近于v2。也就是哪个向量的attention的分数越大，那么这个向量的v就会dominate抽出来的结果。
在这里插入图片描述

后续会计算 q2与k1，k2，k3，k4、q3与k1，k2，k3，k4、q4与k1，k2，k3，k4的计算结果
在这里插入图片描述

从矩阵角度进行分析
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Wq, Wk, Wv是通过training data找出来的

在这里插入图片描述

参考自：李宏毅

一个小猴子｀
关注
专栏目录
Yolov5/Yolov7改进---注意力机制：self-attention实现涨点的同时，能够大幅减少参数量和计算量
06-30 812
stand-alone self-attention相对于传统的卷积模型，在准确率差不多的情况下，能够大幅减少参数量和计算量，并最终引入到yolov5
self-attention自注意力机制的结构详解（1）
qq_40379132的博客
06-02 1万+
1、模型的输入：如果把输入看成一个向量，输出是数值或者类别。但是若输入是一系列的向量（序列），同时长度会改变，例如输入是一句英文，每个单词的长短不一，每个词汇对应一个向量，所以模型的输入是多个长短不一的向量集合，并且每个向量的大小都不一样。另外有语音信号（其中一段语音为一个向量）、图论（每个节点是一个向量）也能描述为一串向量。将单词表示为向量的方法，（1）可以利用one-hot encoding，向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，但是这种方式下每一个词之间没有关系
自然语言处理中的自注意力机制（Self-attention Mechanism）
weixin_33751566的博客
03-24 1372
自然语言处理中的自注意力机制（Self-attention Mechanism） 近年来，注意力（Attention）机制被广泛应用到基于深度学习的自然语言处理(NLP)各个任务中，之前我对早期注意力机制进行过一些学习总结（可见http://www.cnblogs.com/robert-dlut/p/5952032.html）。随着注意力机制的深入研究，各式各样的attention被研究者们提...
自注意力机制(Self-Attention)
热门推荐
Michale_L的博客
08-27 9万+
自注意力机制
详解注意力机制(Attention Mechanism)，自注意力(Self-Attention)，多头注意力(MultiHeadAttention)
qq_51872445的博客
08-15 2909
一、注意力机制（Attention Mechanism） 注意力机制（Attention Mechanism）是深度学习领域的一个重要概念，最初在自然语言处理（NLP）中被引入，用于改进序列到序列（seq2seq）模型的性能，特别是在机器翻译任务中。这种机制允许模型在处理输入序列的不同部分时，能够“关注”或“聚焦”于其中更重要的部分，而不是平等地对待所有输入元素。 参考资料 书籍 Z. Li, A. Gan, et al., “动手学深度学习 第二版,” 电子工业出版社, 2021. 网络文
self-attention机制
Abraham Ben
08-28 7435
传统的CNN得弱点在于一般都是读取局部信息，而没有考虑整个全局的信息。此时如果使用很大的kernel size一次覆盖掉所有的输入。但是弱点有: 在机器翻译中的输入长度不定。 这种情况下的kernel参数量非常多，容易overfitting。 self-attention就是一种可以考虑全局信息的机制。相关论文为: attention is all you need self-attention可以和CNN和FC结合使用。 self-attention计算方法如下: 计算a1a^1a1与其他输入的相
自注意力机制（Self-Attention）
lbr15660656263的博客
06-28 2330
Transformer模型中最关键部分就是自注意力（Self-Attention）机制，正如 Transformer 的论文的标题是“Attention Is All You Need”！以文本问题为例来讲解这个机制。在处理文本问题时，自注意力机制会告诉模型：在处理句子中的每个单词时，特别关注某些重要的单词，并或多或少地忽略其它单词。简单来说，就是给句子中不同单词分配不同的权重。
Self-Attention （自注意力机制）
qq_53474200的博客
06-10 937
本篇文章是机器学习的笔记（简化版）
李宏毅机器学习：self-attention（自注意力机制）和transformer及其变形
iwill323的博客
10-20 5865
self-attention，transformer及变形
【Linformer：Self-Attention with Linear Complexity】
gesshoo的博客
03-18 2646
论文中，展示了自注意力机制可以被一个低秩矩阵近似，利用这一发现提出了新的自注意力机制，将空间与时间计算复杂度降低到O(n)。 作者发现自注意力是低秩的，通过线性投影将原本的点乘注意力分解为多个较小的注意力，使这些运算的组合形成原始注意力的低秩因式分解。 下表是不同transformer架构的复杂度汇总： 理论： 自注意力机制矩阵，context mapping matrix P，是低秩的。 左边的图，将奇异值分解在不同的层和头运用到P， 画出每10K个句子的归一化累积奇异值平均值，结果显示
【YOLOv10改进-注意力机制】Polarized Self-Attention: 极化自注意力，双重注意力机制
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-04 968
像素级回归可能是细粒度计算机视觉任务中最常见的问题，例如估计关键点热图和分割掩模。这些回归问题非常具有挑战性，特别是因为它们需要在低计算开销下对高分辨率输入/输出建模长距离依赖关系，以估计高度非线性的像素级语义。尽管深度卷积神经网络（DCNNs）中的注意机制已经流行起来，用于增强长距离依赖关系，但是元素特定的注意力，例如非局部块，学习起来非常复杂且对噪声敏感，而大多数简化的注意力混合体试图在多种任务类型之间达到最佳折衷。
技术笔记:Self-Attention机制
仅用于分享论文心得和技术
03-28 2740
Self-Attention1.键值对注意力 Transformer中最核心的部分就是键值对注意力了，键值对注意力最核心的公式就是下面这个公式了，这个公式其实蕴含了很多点，这些点都要Get到。首先上面这个公式可能看起来挺难懂，但是我们可以看看下面这个公式，下面这个公式的意义是什么？先抛开Q,K,V矩阵不谈，self-Atte...
【自然语言处理】Self-Attention机制
最新发布
藓类少女的博客
10-15 1114
特性普通的Attention输入同一个序列（Query = Key = Value）不同的序列（Query ≠ Key ≠ Value）应用场景同一序列内部的依赖建模序列间的信息传递典型任务编码器内部、BERT、GPT机器翻译、图像描述生成关注点序列内部的全局信息跨序列的信息关联并行化高效并行解码阶段难以并行时间复杂度O(n^2)O(nm)Self-Attention通常用于建模单个序列中的元素间的依赖，而普通的Attention则用于建模两个序列之间的依赖。
Self attention(自注意力机制)
weixin_54892004的博客
12-20 6775
论文《Attention is all you need》 一 输入：N维向量 输出：N个lable：class/sclar (词性判断) 一个label: class/sclar（一个句子判断褒贬，听声识人） 未定数量的lable,数量由机器学习（seq2seq,翻译，语音辨识） 二 输出为N个label N 是个不确定的值，具体例子为输入一句话，每句话的长短不一样。 要考虑整个句子间的联系，window就要尽可能大，过大参数会过多，并且要...
深度学习：自注意力机制(Self-Attention)
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-11 1万+
自注意力机制（Self-Attention），有时也称为内部注意力机制，是一种在深度学习模型中应用的机制，尤其在处理序列数据时显得非常有效。它允许输入序列的每个元素都与序列中的其他元素进行比较，以计算序列的表示。这种机制使模型能够聚焦于输入序列中不同位置的关系，从而捕捉序列内的复杂依赖关系。
Self-attention自注意力机制
Joining667的博客
05-14 680
可变形交叉注意力模块（Deformable Cross Attention Module）是一种神经网络结构，通常用于处理具有空间结构的数据，如图像或视频数据。这种模块结合了注意力机制和可变形卷积（deformable convolution）的思想，以更好地捕捉输入数据中的空间关系和特征。
Self-Attention 自注意力机制（一）——Attention 注意力机制
qiaoxinyu1989的博客
07-15 1078
Attention（注意力）机制如果浅层的理解，跟他的名字非常匹配。他的核心逻辑就是「从关注全部到关注重点注意力机制其实是源自于人对于外部信息的处理能力。由于人每一时刻接受的信息都是无比的庞大且复杂，远远超过人脑的处理能力，因此人在处理信息的时候，会将注意力放在需要关注的信息上，对于其他无关的外部信息进行过滤，这种处理方式被称为注意力机制。图1可帮助大家较好地去理解注意力机制。Attention map展示了人类在看到一幅图像时，如何高效分配有限注意力资源。
self-attention机制详解
zly_Always_be的博客
01-08 757
self-attention机制详解
Self-Attention自注意力机制
03-06
Self-Attention自注意力机制是一种用于处理序列数据的机制，最初在Transformer模型中提出并广泛应用于自然语言处理任务。它通过计算输入序列中每个元素与其他元素之间的相关性来获取上下文信息。 Self-Attention...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值