注意力机制

已于 2023-06-03 20:03:04 修改
阅读量580 收藏 1
点赞数
分类专栏： Python 深度学习 文章标签： 人工智能 深度学习 神经网络
于 2023-03-23 22:38:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44717133/article/details/128797039
版权

目录

https://blog.csdn.net/benzhujie1245com/article/details/117173090

一、注意力机制

1、注意力机制

关注重点，找出重点，发现更多细节信息，抑制无用信息

1.1公式理解

在这里插入图片描述
例子：以淘宝为例

在这里插入图片描述
QKt就是多个查询和多个物品向量来计算相似性 转置是便于相乘，得到一个相似性的实数值
softmax转为概率权重
根号下dk是指 推到梯度值，

1.2 注意力机制的实现过程和代码

https://zhuanlan.zhihu.com/p/48508221
https://www.bilibili.com/video/BV1kT4y1v7RH/?spm_id_from=pageDriver&vd_source=a402747bd6c153bdb2defee02a9cb617
例如计算单词 thinking和machines的相似性

在这里插入图片描述q1*k1的转置 得到一个数
在这里插入图片描述
在这里插入图片描述

2 向量运算

可以直接乘
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
可以在github上下载代码，transformer
temperature就是根号下dk

3 自注意力机制

1、注意力机制和子注意力机制的区别
例子，汉译英
在这里插入图片描述
没有用注意力的情况，各个权重一样，就不合理了
使用注意力机制的情况
在这里插入图片描述
自注意力机制
注意力机制的q\k\v是分布在两侧的
自注意力机制将注意力机制包含在里面，qkv全在source部分

4 多头注意力机制

多头注意力机制： matmul为乘法，scale为除以根号下dk,mask为掩膜，softmax不必多说，matmul最后这个为公式中最后乘以v
多头注意力机制 ：为多个层各自分别操作，然后进行连接
在这里插入图片描述
不同的头提取的信息不同
多头注意力机制的情况是多个单层的
在这里插入图片描述
在这里插入图片描述

代码实现
设置截取长度，p指的是不足的填充p,超出的不要
src_len：截取长度
s指的是开始，e指的结束
d_model:表示每一个字用多少维度的向量来表示
d_k,d_v表示维度
n_heads：表示有几个头
http://t.csdn.cn/d41Fy

在这里插入图片描述
torch.Size([1,5,4])
1指的是只有一个例子
5指的是我喜欢你p这五个字符
4每一个字符使用1行4列表示

二、 新课程学习

课程地址

https://www.bilibili.com/video/BV1Di4y1c7Zm/?spm_id_from=333.337.search-card.all.click&vd_source=a402747bd6c153bdb2defee02a9cb617

结构详解

1.1 整体架构

tansformer是什么：
看三个图，越来越详细
在这里插入图片描述
在这里插入图片描述
encoder结构完全相同，参数不相同，在独立训练
decoder结构完全相同，参数不相同，在独立训练

在这里插入图片描述
在这里插入图片描述

1.2 encoder

首先，放encoder图
在这里插入图片描述

第一部分：
1，Embedding
2、位置嵌入
Embedding：按照字切分，每个字分为512维度的字向量，
在这里插入图片描述
位置编码
对于RNN的所有编码共享一套参数，U是一样的
在这里插入图片描述
在偶数和奇数位置使用不同的三角函数
在这里插入图片描述
接下来将embedding和位置编码后的相加
在这里插入图片描述
位置编码的作用：线性组合意味着位置向量中蕴含了相对位置信息

残差和LayerNorm

x的结果和z的结果作为残差结果相加，进行layerNorm
在这里插入图片描述残差：
在这里插入图片描述
为什么使用layer normalization而不是BN，
BN的效果差，所以不用

LN针对每一个样本的同一维度进行操作，例如小明，小李，小红等的体重进行处理
在这里插入图片描述

前馈神经网络 feed forward

FeedForward的输入是什么呢？是Multi-Head Attention的输出做了残差连接和Norm之后得数据，然后FeedForward做了两次线性线性变换，为的是更加深入的提取特征。

所以FeedForward的作用是：通过线性变换，先将数据映射到高纬度的空间再映射到低纬度的空间，提取了更深层次的特征
在这里插入图片描述

Decoder

在这里插入图片描述
第一层：mask是啥
需要对当前单词和之后的单词做掩膜，抹掉不能看
如果能看的话就会出现每个词都对预测的有贡献

第二层：怎么交互的
在这里插入图片描述
encoder中生成的是KV矩阵，decoder中生成q矩阵，注意：交互就是三者进行的交互，分别于decoder中的每一个进行交互
在这里插入图片描述

softmax函数

softmax函数，又称归一化指数函数。它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来
在这里插入图片描述

encoder代码

https://www.bilibili.com/video/BV1dR4y1E7aL/?spm_id_from=333.999.0.0&vd_source=a402747bd6c153bdb2defee02a9cb617

应用
1、机器翻译类应用，endcoder和decoder共同使用
2、只是用encoder端，文本分类BERT和图片分类VIT
3、只是用decoder端，生成类模型

与风共舞true
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习之注意力机制（Attention Mechanism）和Seq2Seq
weixin_30485291的博客
04-15 5483
这篇文章整理有关注意力机制（Attention Mechanism ）的知识，主要涉及以下几点内容： 1、注意力机制是为了解决什么问题而提出来的？ 2、软性注意力机制的数学原理； 3、软性注意力机制、Encoder-Decoder框架与Seq2Seq 4、自注意力模型的原理。 一、注意力机制可以解决什么问题？ 神经网络中的注意力机制（Attention Mechanis...
注意力机制简单介绍
百年孤独百年的博客
06-14 7431
注意力机制是一种在深度学习领域中的重要技术，尤其在自然语言处理（NLP）任务中取得了显著的成果。本文将介绍注意力机制的基本概念、原理和如何在神经网络模型中应用注意力机制。
注意力机制详解
weixin_43236310的博客
12-30 1万+
注意力机制详解Attention机制由来Attention定义Encoder-Decoder框架存在问题：Attenion机制的引入Attention机制的类别Hard AttentionSoft AttentionGlobal AttentionLocal AttentionSelf AttentionMulti-head Attention附录—Transformer全局视角Tensor视角Encoder部分Self-AttentionSelf-Attention向量计算Self-Attention的矩
注意力机制(Attention Mechanism)
Steve Wang's blog
10-10 1万+
注意力机制起源于应用于NLP的RNN模型，但也在其他的领域有所应用。对注意力机制的理解也是算法面试经常提及的一道基础面试题，在这篇博文里我们汇总吴恩达深度学习视频序列模型3.7和3.8以及台大李宏毅教授对Attenion Mechanism以及相关参考文献对注意力机制给出详细的介绍的解释。 注意力机制(Attention Mechanism) 注意力机制是深度学习中一个非常重要的思想，在NLP...
matlab注意力机制
12-06
matlab注意力机制 原文链接： 图像处理注意力机制Attention汇总（附代码,SE、SK、ECA、CBAM、DA、CA等） 1. 介绍 注意力机制（Attention Mechanism）是机器学习中的一种数据处理方法，广泛应用在自然语言处理（NLP）...
图像注意力机制图解ppt
07-16
图像注意力机制图解ppt 图像注意力机制是深度学习中的一种重要技术，旨在解决图像处理和计算机视觉问题中存在的问题。在本节中，我们将对图像注意力机制进行详细介绍，并对其在图像处理和计算机视觉领域中的应用...
Pytorch 实现注意力机制
01-06
import math import torch import torch.nn as nn import os def file_name_walk(file_dir): for root, dirs, files in os.walk(file_dir): # print(root, root) # 当前目录路径 print(dirs, dirs) # 当前路径下...
基于Python和tensorflow图像注意力机制实现各种图像注意力模块（源码）.rar
03-27
资源内容：基于tensorflow2-图像注意力机制实现各种图像注意力模块的Python仿真（完整源码+数据）.rar 代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 适用对象：工科生、数学专业、算法等...
一步一步理解大模型：多头注意力机制的作用
chattyfish的博客
04-19 5918
初始权重随机分布，梯度下降优化过程推动每个头去适应其权重，以学习不同的特征，因为这有助于减少总体损失，训练数据本身是可解耦的，那么多头机制就可能碰上，Dropout，超参数，特殊设计。如果所有头都学习了相同的特征，则会冗余且效率低下，模型在其受训任务上的表现会不佳，那么这些训练结果会被放弃，留下的大概率就是学习到了更多特征的模型。：在工业化实用的模型上，对一些已知的、直觉体会到的、猜想到的特征，工程师会设计特殊的网络结构去捕捉，而这些经验性的网络结构有可能各种原因没有发表。所以，调参是非常重要的。
Transfomer编码器中自注意力机制、前馈网络层、叠加和归一组件等讲解（图文解释）
沧海之巅的专栏
06-03 2083
Transformer中的编码器不止一个，而是由一组N个编码器串联而成，一个编码的输出作为下一个编码器的输入，如下图所示，每一个编码器都从下方接收数据，再输出给上方，以此类推，原句中的特征会由最后一个编码器输出，编码器模块的主要功能就是提取原句中的特征。以上句为例，我们的模型首先需要计算出单词A的特征值，其次计算dog的特征值，以此类推，当计算每个词的特征值时，模型都需要遍历每个词与句子中其他词的关系，模型可以通过词与词之间的关系来更好的理解当前词的意思。自注意力机制有助于解决这个问题。
图深度学习入门教程（六）——注意力机制与图注意力
weixin_43672348的博客
04-20 8284
深度学习还没学完，怎么图深度学习又来了？别怕，这里有份系统教程，可以将0基础的你直接送到图深度学习。还会定期更新哦。
多头注意力机制 +代码解读
qq_42750193的博客
01-27 1万+
多头注意力机制 总体描述 这是原文的的图片，我们可以看到，Q，K，V 是三个固定值，分别通过一个Linear层进行映射，Linear层有3个，使用的注意力评分函数为Scaled Dot-Product Attentio ， 有3个代表有3个头，最后将每个头的输出Concat在一起，然后再通过一个Linear层映射成和单头一样的输出。每个头都是注意力，每个头筛选到的信息不同，信息更加丰富，有利于最终模型取得更好的效果 代码详解 在论文中，多头自注意力是将q，k，v线性映射h次，再进行h次自注意力操作，得到
神经网络基础05-注意力机制
Eve_Shieh的博客
04-21 1532
参考链接： 一级标题 二级标题 三级标题 四级标题 五级标题 六级标题
深入理解图注意力机制（Graph Attention Network）
u013602059的专栏
07-16 3411
参考来源：https://mp.weixin.qq.com/s/Ry8R6FmiAGSq5RBC7UqcAQ 1、介绍 图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。 下图概述了 Graph Attention Network 主要做的事情。 针
注意力机制详解(小白入门)
TigerrrRose的博客
01-23 1万+
文章目录产生原因注意力机制类型最大池化与平均池化的注意力机制注意力池化层次池化- 引入时序，更新V循环池化 引入时序更新Q多头注意力池化基于多头注意力的变换器注意力机制的研究进展(待更）注意力机制的好处 产生原因 受到人类注意力机制的启发。人们在进行观察图像的时候，其实并不是一次就把整幅图像的每个位置像素都看过，大多是根据需求将注意力集中到图像的特定部分。而且人类会根据之前观察的图像学习到未来要观察图像注意力应该集中的位置。 注意力机制类型 注意力机制其实也是一种池化，是一种对输入分配偏好的通用池化方法
Attention注意力机制总结
热门推荐
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-12 2万+
本文主要参考开源资料对Attention注意力机制进行总结，注意力机制本质上与人类对外界事物的观察机制相似。以下是相关学习资料推荐： 深度学习中的注意力机制_CSDN大数据-CSDN博客 目前主流的attention方法都有哪些？ - 知乎 ...
如何设计一个高内聚低耦合的模块——MegEngine 中自定义 Op 系统的实践经验
旷视开发者技术社区
11-17 1191
背景介绍在算法研究的过程中，算法同学们可能经常会尝试定义各种新的神经网络层（neural network layer），比如 Layer Norm，Deformable Conv 等。为了...
DANet注意力机制
最新发布
03-27
DANet（Dual Attention Network）是一种注意力机制，用于计算机视觉任务中的图像分割。它通过同时考虑空间和通道维度上的注意力信息，提高了图像分割的性能。 DANet的注意力机制包括两个关键组件：空间注意力模块和...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值