【NLP】第五章：注意力机制Attention

已于 2025-01-04 14:01:58 修改
阅读量2.1k 收藏 42
点赞数 43
CC 4.0 BY-SA版权
分类专栏： NLP 文章标签： 自然语言处理 人工智能 python 深度学习 神经网络 transformer
于 2024-12-12 16:40:42 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/friday1203/article/details/144430104
NLP 专栏收录该内容
11 篇文章 ¥9.90 ¥99.00
订阅专栏

内容有点长，应该是史上最详细、最有说服力的一篇文章。因为几乎所有的细节在逻辑上都串通了。后面attention的计算流程，我使用的例子的计算结果，和调用pytorch中的attention模块的计算结果是一致的，所以是最有说服力的。比那些云里雾里的流程图更清晰。

如果你是小白，最好从头看，前面写的都是原理。如果你有点基础，就从文章中间开始看，后半部分是注意力模块的计算过程的详细讲

了解本专栏 订阅专栏 解锁全文
【YOLOv8改进 - 注意力机制】 CAA： 上下文锚点注意力模块，处理尺度变化大或长形目标
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
08-12 3224
【YOLOv8改进 - 注意力机制】 CAA： 上下文锚点注意力模块，处理尺度变化大或长形目标
YOLOv10改进策略【注意力机制篇】| CVPR2024 CAA上下文锚点注意力机制
Limiiiing的博客
10-08 1709
本文记录的是基于CAA注意力模块的YOLOv10目标检测改进方法研究。。CAA能够有效捕捉长距离依赖，并且参数量和计算量更少。
NLP中的Attention机制
qq_42341984的博客
11-10 659
NLP中的Attention机制
Transformer模型-权重矩阵Wq，Wk，Wv的简明介绍
Ankie资深技术项目经理
03-31 6600
学习transformer模型的时候，权重矩阵Wq，Wk，Wv给我造成了很大的困扰： 1，为啥要加W*？ 2，这个W*是从哪里来的？ 搜索了各种信息，消化理解如下： 1，W*权重矩阵就是训练的目的，就是要找到合适的W*（weights）。 2，W* 是函数nn.Linear初始化的，默认为随机数。经过不断地训练，更新，最终获得比较好的结果
NLP入门系列—Attention 机制
热门推荐
02-02 4万+
Attention 正在被越来越广泛的得到应用。尤其是 [BERT]火爆了之后。Attention 到底有什么特别之处？他的原理和本质是什么？Attention都有哪些类型？本文将详细讲解Attention的方方面面。
【NLP相关】深入理解attention机制（产生、发展、原理、应用和代码实现）
WeLearnNLP
10-22 1万+
attention机制并不是一个新概念，在很久之前（90年代）就有学者提出，其最早产生并且应用在计算机视觉（CV）领域，之后在自然语言处理（NLP）领域快速发展，最近又在CV领域火了起来。attention机制在深度学习各个领域都被广泛使用，尤其是CV和NLP任务中经常会出现attention机制的身影。本文将从原理角度深入分析attention机制。
自然语言处理: 第五章Attention注意力机制
victor_manches的博客
07-18 672
Attention（来自2017年google发表的），顾名思义是注意力机制，字面意思就是你所关注的东西，比如我们看到一个非常非常的故事的时候，但是其实我们一般能用5W2H就能很好的归纳这个故事，所以我们在复述或者归纳一段文字的时候，我们肯定有我们所关注的点，这些关注的点就是我们的注意力，而类似How 或者when 这种不同的形式就成为了Attention里的多头的机制。
NLP：注意力机制
Wei_sx的博客
04-03 1458
注意力机制是一种强大的工具，适用于多种深度学习任务，特别是在处理序列数据时。它不仅改善了模型的性能，还为生成任务提供了更灵活的上下文选择。通过 PyTorch 可以方便地实现和使用注意力机制，从而提升模型的表现。QKVQd_kC。
NLP自然语言处理：深入探索Self-Attention——自注意力机制详解
jun778895的博客
11-10 1073
这意味着，第 (i) 个元素的输出向量 (b_i) 是所有输入元素的值向量 (v_j) 通过对应的注意力权重 (\hat{\alpha}_{i,j}) 加权后得到的。通过softmax函数，每个 (\alpha_{i,j}) 被转换成 (\hat{\alpha}_{i,j})，表示第 (i) 个元素对第 (j) 个元素的相对关注权重。k)，和(W^v)）线性映射为查询向量（Query vector，(q)）、键向量（Key vector，(k)）和值向量（Value vector，(v)）。
自然语言处理之文本分类：Transformer：注意力机制详解
zhubeibei168的博客
05-19 410
并行处理能力：与RNN序列模型不同，Transformer模型能够并行处理输入序列，显著加快了训练速度。长距离依赖：通过自注意力机制，Transformer能够有效捕捉文本中的长距离依赖关系，这对于文本分类任务尤为重要。灵活性：Transformer架构可以轻松扩展到多头注意力，增强模型的表达能力，同时适用于多种NLP任务，包括文本分类。
读transformer的笔记
HWP
09-19 2057
单词向量矩阵用 Xn×d 表示， n 是句子中单词个数，d 是表示向量的维度 (论文中 d=512)。每一个 Encoder block 输出的矩阵维度与输入完全一致。在实际中，Self-Attention 接收的是输入(单词的表示向量x组成的矩阵X) 或者上一个 Encoder block 的输出。），之后得到句子所有单词的编码信息矩阵。上图是 Self-Attention 的结构，在计算的时候需要用到矩阵。1.嵌入向量方面，就是词嵌入和位置嵌入的加和。3.如下图：【目前不太理解！
self-attention
weixin_43846919的博客
03-28 861
self-attention
Transformer
weixin_52103757的博客
08-13 1571
个人理解笔记，并不是全面讲解 Self-Attention 首先随机初始化Wq,Wk,Wv （个人认为W列对应神经元个数，行是单词的词嵌入长度） X(这里是好多个单词摆放成一个矩阵)乘W（qkv三个矩阵）得到对应的权重q,k,v(X每一行是一个0词) dk是键向量的维度 当前一个单词（X的每一行（这里单词按行堆叠）），（当前单词的）q与（与其他单词的）ki（这些k由其他单词x乘Wk得到）分别多次点积除以sqrt(dk)再softmax归一化后得到一个值（个人记作Si(每一个ki对应一个Si，也对应一
NLP中的attention机制总结
BGoodHabit的博客
11-01 2613
目录1 attention机制原理2 attention类型2.1 依据attention是否参数化可导分类2.1.1 Soft attention2.1.2 Hard attention2.2 依据输入是否全部用来计算attention向量分类2.2.1 Global attention2.2.2 Local attention2.3 依据attention实现功能分类2.3.1 Self Attention2.3.1.1 原理2.3.1.2 典型代表2.3.1.3 代码实现2.3.2 Multi-Hea
图解Transformer
勿忘初心,方得始终
06-22 1030
图解Transformer
Transformer笔记上
BKXjilu的博客
11-25 869
（学习资料）
NLP｜LSTM+Attention文本分类
机器学习、深度学习、文本分类、异常检测、风控等知识的积累和分享
01-10 2313
LSTM是一种特殊的循环神经网络（RNN），用于处理序列数据和时间序列数据的建模和预测。而在NLP和时间序列领域上Attention-注意力机制也早已有了大量应用，本文将介绍在LSTM基础上如何添加Attention来优化模型效果。
3.一脚踹进ViT——ViT总结完善
qq_45807235的博客
11-07 1929
对ViT完善补充，添加cls token和position embedding
【nlp】2.8 注意力机制拓展
lys_828的博客
11-22 789
如果Source是中文句子，Target是英文句子，那么这就是解决机器翻译问题的Encoder-Decoder框架；如果Source是一篇文章，Target是概括性的几句描述语句，那么这是文本摘要的Encoder-Decoder框架；如果Source是一句问句，Target是一句回答，那么这是问答系统或者对话机器人的Encoder-Decoder框架
自适应加权注意力机制(Adaptive Weighted Attention Mechanism，AWAM)
最新发布
07-31
- **自然语言处理（NLP）**：在机器翻译、文本摘要等任务中，AWAM可以帮助模型更好地捕捉句子中的关键信息，从而提高翻译或摘要的准确性。 - **计算机视觉（CV）**：在图像描述生成、视频分析等任务中，AWAM可以增强...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

宝贝儿好

6元以上者可私信获PDF原文档

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值