一文彻底搞懂Transformer - 注意力机制

最新推荐文章于 2024-08-29 09:51:04 发布
最新推荐文章于 2024-08-29 09:51:04 发布
阅读量697 收藏 11
点赞数 24
文章标签： transformer 深度学习 人工智能 AI大模型 大模型 大语言模型 LLM
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85377976/article/details/141188074
版权

Transformer

一、注意力机制

在这里插入图片描述

Seq2Seq

在这里插入图片描述

注意力机制目标

在这里插入图片描述

Attention模块的主要作用是确定在给定上下文中哪些嵌入向量与当前任务最相关，并据此更新或调整这些嵌入向量的表示。

Transformer注意力机制

******注意力机制案例：在处理包含“model”一词的句子时，它通过分析句子中的其他单词（如“machine learning”或“fashion”），************计算这些单词与“model”之间的语义关系权重，并据此更新“model”的嵌入向量，以更准确地反映其在当前上下文中的含义。******

注意力机制案例

在这里插入图片描述

在这里插入图片描述

注意力机制计算公式

在这里插入图片描述

  • 生成Q、K、V向量：对于输入序列中的每个单词，都会生成对应的Query（查询）、Key（键）和Value（值）向量。这些向量通常是通过将单词的嵌入向量（Embedding Vector）输入到一个线性变换层得到的。

  • 计算Q、K的点积（注意力分数）：计算Query向量与序列中所有单词的Key向量之间的点积，得到一个分数。这个分数反映了Query向量与每个Key向量之间的相似度，即每个单词与当前位置单词的关联程度。

  • Softmax函数归一化（注意力权重）：这些分数会经过一个Softmax函数进行归一化，得到每个单词的注意力权重。这些权重表示了在理解当前单词时，应该给予序列中其他单词多大的关注。

  • 注意力权重加权求和（加权和向量）：这些注意力权重与对应的Value向量进行加权求和，得到一个加权和向量。这个加权和向量会被用作当前单词的新表示，包含了更丰富的上下文信息。

注意力机制计算Q、K、V

_三、3种注意力机制_

在这里插入图片描述

Transformer注意力层

在这里插入图片描述

编码器输入序列通过Multi-Head Self Attention（多头自注意力）计算注意力权重。

编码器的Self Attention

解码器中的交叉注意力层：查询来自前一层解码器，而记忆键和值则来自编码器的输出。这使得解码器中的每个位置都能关注输入序列中的所有位置。

编码器-解码器两个序列通过Multi-Head Cross Attention（多头交叉注意力）进行注意力转移。

编码器-解码器的Cross Attention

在这里插入图片描述

解码器的单个序列通过Multi-Head Causal Self Attention（多头因果自注意力）进行注意力计算。

解码器的Causal Attention

神经网络算法 - 一文搞懂Transformer中的三种注意力机制

如何系统的去学习大模型LLM ？

大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。

不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！

但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈

喝不喝奶茶丫
关注
【人工智能时代】- 一文读懂 Transformer 神经网络模型
xiaoli8748的专栏
09-21 965
在实际的业务场景中，Transformer 模型通常是通过在大规模数据上进行预训练，然后在特定任务上进行微调来实现高性能，从而使得模型在实际推理过程中对于新领域或特定任务的适应性有限。在某些特定的场景下，由于 Transformer 模型中自注意力机制的特性，其对于长文本的处理存在一定的困难。打个比方，在机器翻译模型中，注意力机制使得 Transformer 能够根据所有相关单词的上下文，将英语中的"it"正确翻译为法语或西班牙语中的性别对应的词汇。上述两个模型的最显著区别在于“规模”和“功能”。
NLP教程笔记：Transformer 将注意力发挥到极致
nanke_4869的博客
02-06 1062
NLP教程 TF_IDF 词向量 句向量 Seq2Seq 语言生成模型 CNN的语言模型 语言模型的注意力 Transformer 将注意力发挥到极致 目录NLP教程语言多次注意力Transformer注意力模型全都是注意翻译代码结果讨论全部代码可视化 语言多次注意力 如果哪天有一位异性好友对你表白的回复是：“你人很好，很感谢有你的陪伴”。情场新手刚上车，第一眼看起来，好像是这个女生再夸我，激动得我眼泪要掉下来。带着这句话，让我一天都有好心情。可是当我吃完饭，再回想起她说我“人很好”，“感谢”我，这句话
注意力机制 - Transformer
yingzi的技术博客
09-13 3582
与 10.4.1中基于Bahdanau注意⼒实现的序列到序列的学习相⽐，transformer的编码器和解码器是基于⾃注意⼒的模块叠加⽽成的，源（输⼊）序列和⽬标（输出）序列的嵌⼊（embedding）表⽰将加上位置编码（positional encoding），再分别输⼊到编码器和解码器中。值得注意的是，解码器的⾃注意⼒权重和“编码器－解码器”的注意⼒权重都有相同的查询：即以序列开始词元（beginning-of-sequence,BOS）打头，再与后续输出的词元共同组成序列。
这样图解Transformer应该没人看不懂了吧——多头注意力机制详解
最新发布
2401_85373691的博客
08-29 1367
这是关于Transformer系列文章的第三篇部分，我们将用自上而下的方式深入探讨Transformer的功能。在前两篇文章中，我们已经了解了Transformer是什么、它的架构以及工作原理。没看过的同学可以点击图片进行查看本文将更进一步，深入剖析Transformer的核心——多头注意力（Multi-head Attention）机制。对自注意力、编码器-解码器注意力、注意力分数与掩码机制进行深度解析！：输入序列关注自身：目标序列关注自身：目标序列关注输入序列。
Transformer自注意力机制详解
za6992322的博客
08-17 1408
它没有为每个时间步输出单一的数字，而是为每个时间步输出一个 d 维向量，这个向量的维度与 Transformer 的词向量维度相同，这个向量被加到输入的单词向量中，从而为单词向量添加了位置信息。softmax的意义就是归一化处理，softmax之后，这些数字的和为1了，那么attention的核心机制是什么？但是这种方式存在很大的问题，句子越长，后面的值越大，数字越大说明这个位置占的权重也越大，这样的方式无法凸显每个位置的真实的权重，所以这种方式基本没有人用。可以表示这两个列向量之间的相似程度或相关性。
transformer(一)注意力机制
fanre的专栏
05-08 896
20210625；短教程：《Transformers》；特邀讲师：邱锡鹏教授_哔哩哔哩_bilibili 神经网络与深度学习 https://nndl.github.io/ppt/chap-%E6%B3%A8%E6%84%8F%E5%8A%9B%E6%9C%BA%E5%88%B6%E4%B8%8E%E5%A4%96%E9%83%A8%E8%AE%B0%E5%BF%86.pptx 超详细图解Self-Attention - 知乎 扒源码：跳出self-attention看多头点积注意力 - 知乎 h
transformer - 注意力机制
weixin_47552266的博客
06-09 1487
Transformer 中的注意力机制通过查询（Q）、键（K）和值（V）捕捉输入序列中元素之间的相关性，利用多头注意力机制增强模型的表达能力。通过缩放点积、应用 softmax、加权求和值向量，模型能够有效地调整输入序列中的信息权重。位置编码确保了位置信息的保留，残差连接和层归一化加速了训练，前馈神经网络进一步处理了注意力输出。编码器和解码器的结合使得 Transformer 能够高效地进行序列到序列的任务，如机器翻译和文本生成。
一文看尽深度学习中的各种注意力机制（1998-2020年）1
08-04
6. 《Attention is All You Need》（2017年）：谷歌的Transformer架构彻底改变了机器翻译，通过自注意力机制，无需RNN或CNN即可高效处理长距离依赖，最近在计算机视觉领域也取得了突破性进展。 【发展与维度】 ...
涨姿势！一文了解深度学习中的注意力机制
读芯术的博客
12-25 3035
全文共11413字，预计学习时长33分钟 图源：Unsplash “每隔一段时间，就会出现一种能改变一切的革命性产品。” ——史蒂夫·乔布斯（SteveJobs） 这句21世纪最知名的言论之一与深度学习有什么关系呢？ 想想看。计算能力的提升带来了一系列前所未有的突破。 若要追根溯源，答案将指向注意力机制。简而言之，这一全新概念正在改变我们应用深度学习的方式。 ...
一文彻底搞懂Transformer的输入（附代码）
2402_82802238的博客
03-27 3183
本系列文章致力于用最简单的语言讲解Transformer架构，帮助朋友们理解它的强大，本文是第五篇：Transformer输入详解。
一文搞懂Attention机制的诞生及发展（原理+代码）
Python，数据分析，机器学习，深度学习
12-21 2440
这个月初，我写过一篇博客，是关于共现网络的构建，之所以研究共现网络，就是想找寻词之间的关系，当然我之前的博客在决策树的时候也提到过信息熵和信息增益的概念，这些都是来衡量一个词的重要性。几个月前看了发表于2017年的经典论文《Attention Is All You Need》(NeurIPS2017) 论文地址：https://arxiv.org/abs/1706.03762，这是Google在NeurIPS2017发表的一篇文章，在CV、NLP、多模态等各个领域都有很大的影响力，目前引用量已经2.2w+
Transformer注意力机制
妙乌的博客
07-16 875
Transformer是一种用于自然语言处理(NLP)和其他序列到序列(Seq2Seq)任务的深度学习模型框架，它在2017年由Vaswani等人首次提出。以下是Transformer的一些重要组件和特点。自注意力机制：这是Transformer的核心概念之一，它使模型能够同时考虑输入序列中的所有位置，而不是像循环神经网络（RNN）或卷积神经网络（CNN）一样逐步处理。自注意力机制允许模型根据输入序列中的不同部分来赋予不同的注意权重，从而更好地捕捉语义关系。多头注意力。
【李宏毅】注意力机制+transformer详解
m0_51474171的博客
11-06 7416
详细讲解自注意力机制的计算，Encoder和Decoder部分的每一个模块
一文搞懂Transformer架构的三种注意力机制
不要给自己设限，尝试更多可能（思所向 皆可往）
03-22 2764
大家对注意力机制多少都有所耳闻，毕竟在自然语言处理（NLP）和大型语言模型（LLM）领域，2017年，《Attention Is All You Need》这篇论文是里程碑式的存在；几乎所有的LLM都是基于注意力机制构建的，甚至最新的多模态或基于视觉的模型也在某种程度上都运用了它；今天，我们将深入探讨注意力机制。1、什么是注意力当人类的视觉机制察觉到一个物体时，通常不会从头到尾地扫视整个场景；一般会根据个人的需求集中关注特定的部分。
Transformer中的注意力机制
yiwangfl的博客
04-13 1387
注意力机制通过赋予模型对不同部分的关注程度来提高模型的表现力，而Transformer模型则利用多头注意力机制来捕捉输入序列的不同方面的信息。通过计算查询向量和键向量之间的相似度，得到每个键向量对于查询向量的权重，然后将这些值作为值向量的权重，进行加权求和，得到最终的向量表示。这种方法可以捕捉到输入序列的不同方面的信息，提高模型的表现力。在自然语言处理领域中，注意力机制通常应用于文本序列上，它可以将一个文本序列中的每一个词都映射为一个向量，然后对向量进行加权求和，以生成一个代表整个文本序列的向量表示。
注意力机制（attention mechanism）与 Transformer
xw555666的博客
01-02 3962
灵长类动物的视觉系统接收了大量的感官输入，这些感官输入远远超出了大脑能够完全处理的能力。然而，并非所有刺激的影响都是同等的。意识的汇聚和专注使灵长类动物能够在复杂的视觉环境中将注意力引向感兴趣的物体，例如猎物和天敌。整个人类历史中，这种只将注意力引向感兴趣的一小部分信息的能力，使人类的大脑能够更明智地分配资源来生存、成长和社交，例如发现天敌、寻找食物和伴侣。自主性的与非自主性的注意力提示解释了人类的注意力的方式，下面来看看如何通过这两种注意力提示，用神经网络来设计注意力机制的框架和模型。
注意力机制----transformer中注意力机制
weiwei935707936的博客
11-08 6149
注意力机制的计算： 要计算s_j就要先计算c_j, 要计算c_j就要先计算a_j: 将decoder当前状态s_j与m个h_i做运算得到权重向量（权重的具体计算见下） h_i，s_j 各自乘以权重矩阵W_K,W_Q k,q进行内积 经softmax 一共有三个“权重矩阵”： 在seq2seq版本注意力机制中，c的更新依靠: a和h（encoder状态） 在transformer版本的注意力机制中，c的更新依靠：a和v ..
神经网络算法 - 一文搞懂 Transformer（总体架构 & 三种注意力层）
xxue345678的博客
06-27 7048
本文将从三个方面，带您一文搞懂**输入嵌入：将输入的文本转换为向量，便于模型处理。位置编码：给输入向量添加位置信息，因为Transformer并行处理数据而不依赖顺序。多头注意力：让模型同时关注输入序列的不同部分，捕获复杂的依赖关系。残差连接与层归一化：通过添加跨层连接和标准化输出，帮助模型更好地训练，防止梯度问题。带掩码的多头注意力：在生成文本时，确保模型只依赖已知的信息，而不是未来的内容。前馈网络：对输入进行非线性变换，提取更高级别的特征。
深度学习NLP：注意力机制与Transformer解析
Transformer模型是Google在2017年提出的一种基于自注意力（self-attention）机制的序列建模方法，主要解决了RNN和CNN在处理长序列时存在的问题，如计算效率低和长距离依赖难捕获。 1、Transformer架构 Transformer...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值