注意力机制

已于 2023-04-16 10:14:31 修改
阅读量2.4k 收藏 37
点赞数 26
文章标签： 机器学习 深度学习 人工智能
于 2023-04-14 23:37:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46902739/article/details/130163958
版权

目录

目录

一、基础术语

1、记忆力分类

2、注意力机制介绍

3、机器学习中的一种数据处理方法

4、神经网络中的定义

5、注意力机制分类

5.1 soft attention 软注意力

5.2 hard attention 强注意力

二、注意力机制所需基础

1、公式理解

1.1 XX^T

1.2 softmax（XX^T）

1.3 softmax（XX^T）X

1.4 为什么不直接使用x，而要对其进行线性变换

2、注意力机制与自注意力机制的区别

三、注意力机制（Attention Mechanism）

1、机器翻译任务

2、引入soft-attention的机器翻译

2.1 Seq2Seq第一种模型用于机器翻译

2.2 Seq2Seq的第二种模型

2.3 引入注意力机制

3、公式

3.1 公式讲解

3.2 公式理解示例

4、Attention 机制的本质

4.1 公式如下

4.2 阶段1，相似度计算

4.3 阶段2，注意力打分机制

4.4 阶段3，归一化的注意力概率分配

5 attention的优缺点

5.1 优点

5.2 缺点

四、自注意力机制self-attention

1 定义

2、 公式

3、计算过程

五、多头注意力

1 self-attention的缺点

2 多头注意力机制的提出

3、作用

4、实现

4.1 单头注意力机制

4.2 multi-headed Attention

一、基础术语

这一章不重要，可直接跳到第二章

1、记忆力分类

sensory memory 感官记忆

short-term memory 短期记忆

long-term memory 长期记忆

2、注意力机制介绍

基本定义：由于信息处理的瓶颈，人类会选择性地关注所有信息的一部分，同时忽略其他可见的信息。上述机制通常被称为注意力机制

3、机器学习中的一种数据处理方法

模型对输入的X每个部分赋予不同的权重，抽取出更加关键及重要的信息，使模型做出更加准确的判断，同时不会对模型的计算和存储带来更大的开销

4、神经网络中的定义

在计算能力有限的情况下，将计算资源分配给更重要的任务，同时解决信息超载问题的一种资源分配方案

5、注意力机制分类

5.1 soft attention 软注意力

在选择信息的时候，不是从N个信息中只选择1个，而是计算N个输入信息的加权平均，再输入到神经网络中计算

5.2 hard attention 强注意力

Hard Attention就是指选择输入序列某一个位置上的信息，比如随机选择一个信息或者选择概率最高的信息。一般还是用soft attention来处理神经网络的问题。

soft attention：在encoder中每一个输出都会计算一个概率，例如图中的小女孩和飞盘

hard attention：encoder中只寻找需要的那个计算概率，图中只关注飞盘

二、注意力机制所需基础

1、公式理解

将公式简化为一个X的变化：softmax（XX^T）X

这里默认X为行向量

1.1 XX^T

向量内积，表示两个向量的夹角，一个向量在另一个向量上的投影

下面的运算模拟了 XX^T，查看结果的含义

投影的值大，说明两个向量的相关性高，如果不相关，垂直则为0

1.2 softmax（XX^T）

对向量内积结果计算softmax，结果为 0.4,0.4,0.2

加入softmax的含义

  1. 归一化，结果的和为1
  2. 加权求和，分配0.4的注意力给它本身”早“，剩下0.4关注"上"，0.2关注"好“

1.3 softmax（XX^T）X

新的行向量就是"早"字词向量经过注意力机制加权求和之后的表示

1.4 为什么不直接使用x，而要对其进行线性变换

提高模型的拟合能力，加入可训练参数矩阵W，起到缓冲的效果

2、注意力机制与自注意力机制的区别

Self Attention 顾名思义，指的【不是 Target 和 Source 之间的 Attention 机制】，而是 Source 内部元素之间或者 Target 内部元素之间发生的 Attention 机制，也可以理解为 Target=Source 这种特殊情况下的注意力计算机制

三、注意力机制（Attention Mechanism）

1、机器翻译任务

文本翻译的需求：输入机器学习→Machine learning

2、引入soft-attention的机器翻译

2.1 Seq2Seq第一种模型用于机器翻译

组成：Encoder、Decoder 和连接两者的 State Vector (中间状态向量) C

注：encoder与decoder见编码器总结笔记

  1. source 经过 Encoder，生成中间的语义编码 C
  2. C 经过 Decoder 之后，输出翻译后的句子

2.2 Seq2Seq的第二种模型

先根据 C 生成 y1，再基于（C，y1）生成 y2，依此类推

2.3 引入注意力机制

不同单词的影响不同，基于同一个语义编码效果不好，引入多个C

计算 C1、C2 和 C3 时，分别使用不同的权重向量：

y1=g(C1,h0)

y2=g(C2,y1)

y3=g(C3,y1,y2)

3、公式

3.1 公式讲解

D_k为为向量维度，原论文为64，根号64=8。主要用来做归一化

Q、K、V来源：向量X与参数矩阵的乘积

3.2 公式理解示例

在淘宝中搜索 “笔记本” 运行逻辑

4、Attention 机制的本质

可分为以下三个阶段

4.1 公式如下

4.2 阶段1，相似度计算

其中相似性计算可采用以下几种方式

4.3 阶段2，注意力打分机制

4.4 阶段3，归一化的注意力概率分配

上述公式中的 Lx 表示输入语句的长度

5 attention的优缺点

5.1 优点

  1. 参数少：相比于 CNN、RNN ，其复杂度更小，参数也更少。所以对算力的要求也就更小。
  2. 速度快：Attention 解决了 RNN及其变体模型 不能并行计算的问题。Attention机制每一步计算不依赖于上一步的计算结果，因此可以和CNN一样并行处理。
  3. 效果好：在Attention 机制引入之前，有一个问题大家一直很苦恼：长距离的信息会被弱化，就好像记忆能力弱的人，记不住过去的事情是一样的。

5.2 缺点

需要的数据庞大，否则根本不需要忽略非重点

四、自注意力机制self-attention

1 定义

自注意力机制是注意力机制的变体，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。

自注意力机制在文本中的应用，主要是通过计算单词间的互相影响，来解决长距离依赖问题。

2、 公式

自注意力机制公式与注意力机制公式相同，但含义不同

  • 注意力机制公式用于计算某个元素与其他所有元素之间的关系，通常用于在序列中寻找关键元素或者将输入序列中的信息进行汇总
  • self-attention用于计算某个元素与其他所有元素之间的关系，其中所有元素，查询向量、键向量和值向量都来自于同一个序列。因此可以计算序列中每个元素与其他所有元素之间的关系

3、计算过程

  1. 将输入单词转化成嵌入向量
  2. 对于每一个向量a，分别乘参数矩阵wq，wk，wv，得到Q，K，V三个向量，如图

3. 利用得到的Q和K计算每两个输入向量之间的相关性，也就是计算attention的值α，α的计算方法有多种，通常采用点乘的方式。最终所有输入的相关性矩阵为A=K^T·Q

4. 为了梯度的稳定，Transformer使用了score归一化，即除以根号d_k

5. 对A矩阵进行softmax操作或者relu操作得到A'，以上过程见下图

6. 利用得到的A'和V计算每个输入向量a对应的self-attention层的输出向量b

第一个向量a1对应的self-attention输出向量b1举例，如下图

五、多头注意力

1 self-attention的缺点

模型在对当前位置进行编码时，会过度的将注意力集中在自身的位置。

2 多头注意力机制的提出

我们希望模型可以基于相同的注意力机制学习到不同的行为，然后将不同的行为作为知识组合起来，例如捕获序列内各种范围的依赖关系（例如，短距离依赖和长距离依赖）

多头注意力机制就是对注意力机制的简单堆叠，multi-headed Attention就是指用了很多个不同的权重矩阵计算出很多组K、Q、V

3、作用

多头机制赋予 attention 多种子表达方式。

每一组都是随机初始化，经过训练之后，输入向量可以被映射到不同的子表达空间中。

4、实现

4.1 单头注意力机制

4.2 multi-headed Attention

初始化多组权重，将单头注意力叠加

输入一批X，输出一批Z，将多个版本的Z拼接为一个长向量，

然后用一个权重矩阵相乘，压缩为一个短向量Z，用作下游任务的输入

4.3 一些问题解答

六、Transformer

七、参考资料：

1、李宏毅课程主页：https://speech.ee.ntu.edu.tw/~hylee/ml/2021-spring.html

快速直达注意力机制课件：https://speech.ee.ntu.edu.tw/~hylee/ml/ml2021-course-data/self_v7.pdf

2、Self-Attention和Transformer - machine-learning-notes (gitbook.io)

3、博客列表-读书编程笔记

旧厂街老默
关注
  • 26
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习中的自注意力（Self Attention）机制详解
ZZXN的博客
11-17 1万+
机器学习中的自注意力（Self Attention）机制详解 自注意力公式如下： Att(Q,K,V)=ω(QKT)V Att(Q, K, V) = \omega(QK^T)V Att(Q,K,V)=ω(QKT)V 其中Att(Q,K,V)Att(Q, K, V)Att(Q,K,V)是得到的注意力的值，QQQ、KKK、VVV分别是查询向量（Query Vector）矩阵、键向量（Key Vecto...
深度学习之注意力机制（Attention Mechanism）和Seq2Seq
weixin_30485291的博客
04-15 5226
这篇文章整理有关注意力机制（Attention Mechanism ）的知识，主要涉及以下几点内容： 1、注意力机制是为了解决什么问题而提出来的？ 2、软性注意力机制的数学原理； 3、软性注意力机制、Encoder-Decoder框架与Seq2Seq 4、自注意力模型的原理。 一、注意力机制可以解决什么问题？ 神经网络中的注意力机制（Attention Mechanis...
matlab注意力机制
12-06
matlab注意力机制 原文链接： 图像处理注意力机制Attention汇总（附代码,SE、SK、ECA、CBAM、DA、CA等） 1. 介绍 注意力机制（Attention Mechanism）是机器学习中的一种数据处理方法，广泛应用在自然语言处理（NLP）、图像处理（CV）及语音识别等各种不同类型的机器学习任务中。根据注意力机制应用于域的不同，即注意力权重施加的方式和位置不同，将注意力机制分为空间域、通道域和混合域三种，并且介绍了一些关于这些不同注意力的先进注意力模型，仔细分析了他们的的设计方法和应用领域，给出了实现的代码与实验结果。 ZhugeKongan/Attention-mechanism-implementation ​github.com/ZhugeKongan/Attention-mechanism-implementation 篇外的补充： https://github.com/ZhugeKongan/torch-template-for-deep-learning/tree/main/models/Attention 2. 空间域注意力方法 对于卷积神经网
注意力机制(Attention Mechanism)
Michale_L的博客
08-11 1万+
注意力机制
单头注意力机制（ScaledDotProductAttention） python实现
消极的人永远是对的，积极的人选择勇往直前
03-14 245
输入是query和 key-value，注意力机制首先计算query与每个key的关联性（compatibility），每个关联性作为每个value的权重（weight），各个权重与value的乘积相加得到输出。
注意力机制的介绍
吃葡萄不吐葡萄皮
05-02 7413
具体来说，模型可以使用卷积神经网络（Convolutional Neural Network，CNN）从图片中提取特征，然后通过一个全连接神经网络（Fully Connected Network，FCN）来计算每个特征的注意力权重，从而给予不同的关注程度。在图像分类任务中，可以将空间注意力应用于卷积层的输出上，从而得到更准确的特征表示。在硬注意力中，模型不再给出一个连续的加权平均，而是在每个时间步显式地选择图片中的一个区域，这个区域可以是整张图片的一个局部区域，也可以是图片中的一个特定物体或区域。
【深度学习】注意力机制（七）Agent Attention
AI爱好者的博客，分享计算机领域相关知识
12-19 3662
本文介绍Agent Attention注意力机制，Transformer中的Attention模块可以提取全局语义信息，但是计算量太大，Agent Attention是一种计算非常有效的Attention模块。论文：Agent Attention: On the Integration of Softmax and Linear Attention代码：https://github.comA/leaplabthu/agent-attentionSoftmax Attention，Linear Attenti
【深度学习】注意力机制
热门推荐
木成河的博客
05-02 2万+
注意力机制（Attention Mechanism）是一种在计算机科学和机器学习中常用的技术，可以使模型在处理序列数据时更加准确和有效。在传统的神经网络中，每个神经元的输出只依赖于前一层的所有神经元的输出，而在注意力机制中，每个神经元的输出不仅仅取决于前一层的所有神经元的输出，还可以根据输入数据的不同部分进行加权，即对不同部分赋予不同的权重。这样可以使模型更加关注输入序列中的关键信息，从而提高模型的精度和效率。
注意力机制简单介绍
百年孤独百年的博客
06-14 6372
注意力机制是一种在深度学习领域中的重要技术，尤其在自然语言处理（NLP）任务中取得了显著的成果。本文将介绍注意力机制的基本概念、原理和如何在神经网络模型中应用注意力机制。
注意力机制Attention详解
敷衍zgf的博客
10-22 1万+
Encoder-Decoder框架，注意力机制Attention，以及self-attention
注意力机制的产生.docx
02-23
注意力机制是由大脑中的神经元网络通过一系列复杂的计算和调节过程来实现的。当我们接收到外界的信息时，大脑会对这些信息进行处理和筛选，然后选择性地将注意力集中在某些特定的信息或任务上，而忽略其他无关的信息。 在大脑中，注意力机制主要由前额叶、顶叶、颞叶等区域的神经元网络来实现。这些神经元网络可以通过神经传递物质的释放和神经元之间的连接来调节注意力的分配和集中。同时，大脑中的多个区域之间也会通过神经元之间的相互作用来协调和调节注意力的分配。 在实际应用中，注意力机制可以帮助我们更好地处理复杂的信息，提高信息的筛选和处理效率，同时也可以帮助我们更好地集中精力和注意力在某些重要的任务上，从而提高工作和学习的效果。因此，注意力机制在大脑功能中起着非常重要的作用。
Pytorch 实现注意力机制
01-06
import math import torch import torch.nn as nn import os def file_name_walk(file_dir): for root, dirs, files in os.walk(file_dir): # print(root, root) # 当前目录路径 print(dirs, dirs) # 当前路径下...
浅谈注意力机制及其作用
02-23
注意力机制浅谈注意力机制及其作用浅谈注意力机制及其作用浅谈注意力机制及其作用浅谈注意力机制及其作用浅谈注意力机制及其作用浅谈注意力机制及其作用浅谈注意力机制及其作用浅谈注意力机制及其作用浅谈注意力机制...
KNN、NB、SVM实现鸢尾花分类
Ausgelebt的博客
05-06 765
在欧氏距离度量方式下，k值为6、7、8、9、11、12、13、14、17、18、19时，准确率、精准率、召回率、F1值均达到100%；在曼哈顿距离度量方式下，k值为6、7、8、9、11、13、14、15、16、17、19、10时，准确率、精准率、召回率、F1值均达到100%箱线图能够清晰地展示数据的分布，包括上四分位数（Q3）、中位数（Q2）、下四分位数（Q1）、最大值（非异常值中的最大值）和最小值（非异常值中的最小值），这些信息可以帮助我们了解数据在各个特征上的分散程度。
机器学习-什么是 PCA?
weixin_42924611的博客
04-29 659
一般来说，你可以根据数据的特征、模型的复杂度、以及计算资源的限制来决定。另外，你还可以设定n_components=‘mle’，这样PCA会自动选取特征个数，使得满足所要求的方差百分比。它工作的原理是通过投影的方式，将高维数据映射到低维的空间中，并尽量保证投影后的数据保留了原始数据的主要特性。通过降低数据的维度，PCA不仅可以帮助我们简化模型，还能提高算法的运行效率，减少过拟合的风险。而LDA是一种监督式学习方法，既可以用于降维，也可以进行预测应用，既可以组合其他模型一起使用，也可以独立使用。
机器学习_KNN算法
Ausgelebt的博客
05-06 593
K-近邻（K-Nearest Neighbors，简称KNN）算法是一种基本的机器学习分类和回归算法其核心思想是：如果一个样本在特征空间中的k个最相似（即特征空间中最邻近）的样本中的大多数属于某一个类别，则该样本也属于这个类别。
吴恩达2022机器学习专项课程C2（高级学习算法）W1（神经网络）：2.3 案例图像识别
最新发布
AIGC_xuexishe的博客
05-06 496
本例中，第一层中查找短小的边缘，第二层中查找眼睛和鼻子等面部部位，然后在第三层中查找更完整的面部形状。第一个隐藏层的输出到第二个隐藏层，第二个隐藏层的输出到到第三层，最后到输出层，最后估计，例如这可能是某个特定人物的概率。亮度值的范围是0-255。只要输入不同的数据，神经网络就会自动学习检测不同的特征，从而完成汽车检测、人脸识别，或者判定输入是否含有某个特定事物的预测任务。构建一个人脸识别应用程序，能否训练一个神经网络，该网络以包含100万像素亮度值的特征向量为输入，并输出图片中人物的身份。
pytorch注意力机制
08-02
在PyTorch中，可以使用注意力机制来增强神经网络的性能。注意力机制的核心思想是让网络自适应地关注到更重要的信息。在处理图像时，我们希望网络能够自动关注到应该注意的区域，而不是均匀地关注整个图像。注意力机制可以分为通道注意力机制、空间注意力机制以及二者的结合。 在PyTorch中，有多种实现注意力机制的方法。其中一种常见的方法是使用CBAM（Convolutional Block Attention Module）。CBAM将通道注意力机制和空间注意力机制结合起来，相比于只关注通道的注意力机制，可以取得更好的效果。CBAM会对输入的特征层进行通道注意力机制的处理和空间注意力机制的处理。这种结合的方式可以帮助网络更好地关注到重要的特征。 总结起来，PyTorch中的注意力机制可以通过使用CBAM等方法来实现，以提升神经网络的性能。[1][2][3]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值