Self-attention入门级详解

最新推荐文章于 2023-12-11 00:44:14 发布
最新推荐文章于 2023-12-11 00:44:14 发布
阅读量325 收藏 2
点赞数 2
文章标签： 深度学习 神经网络 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43920520/article/details/128343196
版权

深度学习系列

第一篇 局部最优点+鞍点+学习率的调节
第二篇 并行计算 深度学习 机器学习
第三篇 长短期记忆网络（LSTM）是什么怎么工作的呢？
第四篇 Dropout解析 代码实现
第五篇 Auto-encoder 自编码器
第六篇 ResNet,Xception,DenseNet优缺点对比
第六篇 STM网络（Spatial Transformer Network）常见疑问解答
第七篇 Self-attention入门级详解

文章目录

一、基本问题

1.Self-attention的输出

  • 每一个向量输出有对应的标签。例如：语义标签
  • 输入多个向量，但输出只有一个标签。例如：判断文章句子的正负面
  • 输入多个向量，但是输出由模型去决定输出的大小。例如：语义翻译

Self-attention和RNN/LSTM的比较

  • 对于单向的RNN而言，RNN当前节点获取的信息只是来自于前面节点的信息

但是，RNN是有双向的

  • 对于双向的RNN，当前节点的信息来源于前后的信息和，但是最前面一个节点的信息传到当前节点需要一步步的传输，而对于self-attention来说，每个节点都能寻找与其他节点的关系，不需要一点点的传输才会获取前面节点的信息。而且self-attention能一次计算所有节点，速度更快。

二、Self-attention怎么运作的？

1.基本总览

self-attention的基本总览如下，可以把self-attention看成一层，如图，如果有四个变量输入，就会有四个对应的变量输出，但是新输出的变量，每一个都是整合了所有输入变量特征的。即它不是一个单一的变量，而且总览全局后形成的变量。
self-attention基本图

2. 那Self-attention这一层具体是怎么工作的呢？

首先，我们以第一个向量a1经过Self-attention变成b1为例子讲解，a1首先要找到它和其他向量的相关性。如下图所示。
找关联 那相关性怎么找呢？
其实就是计算一个系数α，具体的计算方式有多种。
Dot-product就是其中的一种，也是本文讲解的所使用的。它的计算方式是，对两个要计算相关性的向量先乘上一个矩阵，然后对两个矩阵进行乘积（相乘再相加），得到一个系数α。
Dot-product
但是也有例如Additive等其他计算方式。
Additive
这里我们使用Dot-product去计算α
这里还是以a1 为例，它乘上一个矩阵Wq，其他的向量乘上矩阵Wk，然后去计算出α，这个α也叫做attention score。
在这里插入图片描述
这里十分重要的一个点，是 a1 自己也要乘上Wk，也就是 a1 找自己和自己的关系，第二个 a1 要乘 Wk 去计算，第一个还是乘 Wq

最终的图示如下！
Dot-product最后图示接下来是对计算出来的α进行Soft-max处理，如下图。得到了α’
在这里插入图片描述

但是我们最后是要得到一个b1,也就是总览全局得到的系数
所以接下来我们要做的是，把着写参数和向量变成一个新的向量。Self-attention是这样子计算的。首先，每个输入向量a乘上一个矩阵Wv变成一个新的向量V，再去和每一个α系数相乘，再相加，才变成b1。相关性越大，α越大，得到的b1与这个向量的关系就越大。

得到最终的B1

三. 从矩阵角度看这个过程

3.1 a向量的处理过程

我们把α1,α2,v1,v2这些合并在一起组合成矩阵，就得到了Q,K,V的矩阵 （α1,α2,v1,v2都是向量） ，如下图所示。

矩阵生成

3.2 得到系数α的过程

得到系数的矩阵过程
每个q都得乘上k，那我们可以把k提取出来，变成矩阵。

3.3 系数α整体过程

系数总体求解过程
就K不断乘q这些向量==（k是向量a乘Wk得到的，q是向量a乘Wq得到的）==

3.4最后的b数值

b数值矩阵
最后的b就是α乘V向量，把V向量合在一起就是V矩阵。

第三节只是通过矩阵这个角度理解第二节的东西
其中需要模型学习的就是Wq，Wk,Wv这三个生成q，k，w的矩阵参数。

四、自注意力机制的作用

最明显的一个作用，就是能得到不同节点上下文的信息。所以它常用于序列数据中。

随着发展，自注意力机制也可用去其他领域，如图像，将图像分割成向量，如5*10的图像，分割成5个10维向量。其目的就是找图像不同区域的一个特征关联。

五、self-attention的进阶版本

5.1 Multi-head self-attention多头注意力机制

多头注意力机制还是在注意力机制的框架下进行操作的，不同点是在每个节点，最后输出的b有多个。例如在二头的注意力机制中，每个节点最终需要得到的b有两个，所以，求得b所有东西都要有两份，如下图，每个节点q再乘上两个矩阵，变成两个q，每个k和v也如此。它们得到b所做的计算和注意力机制是一样的，只是数量上不一样。

多头注意力机制最后得到的两个b，可以再经过一个矩阵合成一个b
b的合并
多头的作用主要是能够学习到不同空间中的不同特征

5.2 添加位置信息的注意力机制

在自注意力机制中，每个节点虽然有上下文的信息，但却没有位置信息，如果我们想添加位置信息的话，就需要在ai中加入一个向量ei,表示位置信息。

这个ei可以是人设定了，也可以学习到
但是这方面我没做详细研究，这里就简单带过。

总结

以上就是我个人对self-attention的理解，希望配合上其他文章，能让初学者更容易理解。如果觉得有用，请大家点赞支持！！！！。

GDUT 小胖鱼
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
自注意力(SelfAttention)原理与代码实战案例讲解
禅与计算机程序设计艺术
06-18 562
自注意力(Self-Attention)是一种用于自然语言处理(NLP)和计算机视觉(CV)等领域的技术，它可以帮助模型更好地理解输入数据中的关系和重要性。自注意力最初是在Transformer模型中提出的，而Transformer模型则是目前NLP领域最先进的模型之一。自注意力的应用已经被广泛应用于各种任务，例如机器翻译、文本分类、语音识别、图像生成等。自注意力机制的核心思想是让模型在处理一个输入序列时，能够对序列中的每个元素进行加权求和，从而捕捉到序列中元素之间的关系。
自注意力（Self-Attention）
dx1313113的博客
01-22 1万+
循环神经网络由于信息传递的容量以及梯度消失问题，实际上也只能建立短距离依赖关系。为了建立长距离的依赖关系，可以增加网络的层数或者使用全连接网络。但是全连接网络无法处理变长的输入序列，另外，不同的输入长度，其连接权重的大小也是不同的。这时，提出了自注意力模型，可以“动态”地生成不同连接的权重。自注意力模型的结构：输入n个，输出也是n个，但是会考虑整个sequence（有context）自注意力机制实际上是注意力机制。
一文搞定自注意力机制（Self-Attention）
markconca的博客
10-25 3万+
1 Self-Attention的概念2 Self-Attention的原理3 Self-Attention的作用4 Self-Attention的问题。
自注意力机制(Self-Attention)
热门推荐
Michale_L的博客
08-27 9万+
自注意力机制
深度学习：自注意力机制(Self-Attention)
最新发布
十年以上架构设计经验，专注于软件架构和人工智能领域，对机器视觉、NLP、音视频等领域都有涉猎
12-11 1万+
自注意力机制（Self-Attention），有时也称为内部注意力机制，是一种在深度学习模型中应用的机制，尤其在处理序列数据时显得非常有效。它允许输入序列的每个元素都与序列中的其他元素进行比较，以计算序列的表示。这种机制使模型能够聚焦于输入序列中不同位置的关系，从而捕捉序列内的复杂依赖关系。
什么是自注意力机制（Self-attention）
蓝鲸鱼的博客
05-05 1万+
RNN网络的的输入是一个定长的向量。例如，分类网络的输入图片大小是固定的。当网络的输入变为变长的向量时，RNN网络就不再适用了，自注意力机制（Self-attention）可以解决这一问题，通过“动态”地生成不同连接地权重。 如下图所示，自注意力机制的输入为长度为NNN（NNN可变化）的向量，输出同样为长度为NNN的向量。 1. 自注意力机制的计算 自注意力机制根据各个输入向量的关联输出，使得每个输出向量包含输入向量的上下文关系。首先需要计算两个输入向量的关联α\alphaα。 如下图所示为Dot-pr
Self-Attention详解
weixin_42756682的博客
11-24 9054
文章目录Sequence数据的处理Sequence Labeling（输入和输出的大小一样）Self-Attention内部机理如何求解b？Multi-head Self-AttentionPositional EncodingSelf-Attention for ImageSelf-Attention v.s. CNNSelf-Attention v.s. RNN Sequence数据的处理 Self-Attention是用来处理Sequence数据的。 输入是Vector Set（Sequenc
Self-Attention-Keras：自我关注与文本分类
02-03
自关注与文本分类 本仓库基于自关注机制实现文本分类。...$ python imdb_attention.py 比较结果 算法 训练时间（每纪元） Val准确率 Val损失 所需Epoch数 LSTM 116秒 0.8339 0.3815 2 双向LSTM
Self-Attention与Transformer
01-07
1.由来 在Transformer之前，做翻译的时候，一般用基于RNN的...输入的x1,x2x_{1},x_{2}x1​,x2​，共同经过Self-attention机制后，在Self-attention中实现了信息的交互，分别得到了z1,z2z_{1},z_{2}z1​,z2​，将z1,z2
keras-self-attention:处理顺序数据的注意力机制，考虑每个时间戳的上下文
05-31
安装pip install keras-self-attention用法基本的默认情况下，注意力层使用附加注意力并在计算相关性时考虑整个上下文。 以下代码创建了一个注意力层，它遵循第一部分中的方程（ attention_activation是e_{t, t'}的...
详解Self-attention与Transformer1
08-03
Self-attention机制是Transformer模型的核心组成部分，Transformer是由Google在2017年提出的，主要用于解决自然语言处理（NLP）中的序列建模问题。它的主要创新在于使用自注意力层代替了传统的循环神经网络（RNN）和...
【典藏】详解 Self-Attention
绿色羽毛
04-07 6160
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于Transformer。 Transformer 模型使用了 Self-Attention机制，不采用RNN顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 一切从 Self-Attention 开始 1.1 处理Sequence数据的模型： Transformer是一个Sequence to Sequence model，特别之处在于它大量用到了self-atten.
李宏毅《深度学习》- Self-attention 自注意力机制
0202zc 的博客
10-20 1万+
无论是预测视频观看人数还是图像处理，输入都可以看作是一个向量，输出是一个数值或类别。然而，若输入是一系列向量（序列），同时长度会改变，例如把句子里的单词都描述为向量，那么模型的输入就是一个向量集合，并且每个向量的大小都不一样： 将单词表示为向量的方法：One-hot Encoding（独热编码）。向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，如下所示：但是它并不能区分出同类别的词汇，里面没有任何有意义的信息。另一个方法是Word Embedding：给单词一个向量，这个向量
[LLM] 自然语言处理 --- Self-Attention(一) 基本介绍
摩登都市天空---专栏
10-22 4193
一 Self Attention Self Attention也经常被称为intra Attention（内部Attention），最近一年也获得了比较广泛的使用，比如Google最新的机器翻译模型内部大量采用了Self Attention模型。 在一般任务的Encoder-Decoder框架中，输入Source和输出Target内容是不一样的，比如对于英-中机器翻译来说，Source是英文句...
深入理解Self-attention（自注意力机制）
DEDSEC_Roger的博客
12-21 1810
输入的特点是一个向量序列序列的长度是可变的例如：对于音频数据，STFT之后，得到每个帧的特征，这些帧在时间维度上构成序列输出类型有三种对序列中的每一个向量，都有一个对应的输出，比如说要对一段语音里的每个词，都判断词性。此时输出序列和输入序列长度相同只需要输出一个向量，比如说话人识别、音频事件分类输出序列的长度不能确定，比如语音识别、机器翻译接下来专注于介绍第一种输出类型，这种任务通常被称为序列标注（Sequence Labeling）
狗都能看懂的Self-Attention讲解
个人学习笔记
01-13 1万+
一文看懂self-attention
Self Attention 详解
Lamours的博客
06-08 7393
注意力机制（Attention），之前也是一直有所听闻的，也能够大概理解 Attention 的本质就是加权，对于 Google 的论文《Attention is all you need》也只是一直听闻，现在乘着机会也是好好读一读。
self-attention自注意力机制的结构详解（1）
qq_40379132的博客
06-02 1万+
1、模型的输入：如果把输入看成一个向量，输出是数值或者类别。但是若输入是一系列的向量（序列），同时长度会改变，例如输入是一句英文，每个单词的长短不一，每个词汇对应一个向量，所以模型的输入是多个长短不一的向量集合，并且每个向量的大小都不一样。另外有语音信号（其中一段语音为一个向量）、图论（每个节点是一个向量）也能描述为一串向量。将单词表示为向量的方法，（1）可以利用one-hot encoding，向量的长度就是世界上所有词汇的数目，用不同位的1（其余位置为0）表示一个词汇，但是这种方式下每一个词之间没有关系
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值