transformer:从公式、图片具体理解

最新推荐文章于 2025-04-16 08:00:00 发布
最新推荐文章于 2025-04-16 08:00:00 发布
阅读量910 收藏
点赞数
分类专栏： 深度学习 文章标签： transformer 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZcsLv_zyq/article/details/122074293
版权
本文深入探讨Transformer模型中的多头自注意力机制，解释了single self-attention和multi-head self-attention的工作原理，并详细阐述了如何通过堆叠多头注意力层构建Transformer的encoder和decoder。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

3、multi-head self-attention\attention

single self-attention

multi-head self attention

本质上就是多个single self-attettnion的堆叠，每个都享有不同的权重，最后再及进行concat

multi-head attention

4. 堆积多头注意力变成transformer

encoder ，用到了stacked self-attentions

每个block层的输入和输出的shape是一样的

decoder: 用到了stacked 的attentions

一个decoder block块的形状

可以缩放成以下

输入是两个序列，输出是一个序列。左边的输入序列是encoder的输出，右边的输入是前一个block的输出。

【ChatGPT核心原理实战】手动求解 Transformer：分步数学示例 | Solving Transformer by Hand: A Step-by-Step Math Example
AI天才研究院
12-22 3434
手动求解 Transformer：分步数学示例Understanding Transformers: A Step-by-Step Math Example — Part 1了解 Transformer：分步数学示例 — 第 1 部分I understand that the transformer architecture may seem scary, and you might have encountered various explanations on…我知道变压器架构可能看起来很可怕，并且
深度解析：从概念到变革——Transformer大模型的前世今生以及大模型预备知识讲解[知存科技]
丨汀、的博客
05-27 2751
深度解析：从概念到变革——Transformer大模型的前世今生以及大模型预备知识讲解[知存科技]
Transformer详解讲解
D_YueChu_F的博客
04-20 1611
Transformer论文详解，包含计算复杂度，已经自注意力机制的解释
RNN LSTM GRU Attention transformer公式整理总结（超详细图文公式）
Luoyingfeng的博客
08-11 5824
整理各种模型的公式，以后面试复习用 RNN 公式： ht=f(W⋅[ht−1,xt]+b)h_{t}=f\left(W \cdot\left[h_{t-1}, x_{t}\right]+b\right)ht​=f(W⋅[ht−1​,xt​]+b) LSTM 公式： 遗忘门：ft=σ(Wf⋅[ht−1,xt]+bf)f_{t}=\sigma\left(W_{f} \cdot\left[h_{t-1}, x_{t}\right]+b_{f}\right)ft​=σ(Wf​⋅[ht−1​,xt​]+bf​)
漫画 Transformer: 手把手用数学公式推导，从入门到精通，看这一篇就够了！！
2401_85327249的博客
03-08 571
我学习的时候总有个执念：这个背后的底层原理是什么？ 这个执念经常会让我在理解新的知识的时候，造成很大的障碍。如果我不能理解它的底层原理，我就很难去理解在它基础上构建的知识。
大模型教程 | Transformer: 手把手用数学公式推导
star_nwe的博客
12-14 1664
用于创建 ChatGPT 的数据集为 570 GB。但是，我们只是为了说明问题，所以我们使用一个非常小的数据集来执行可视化的数值计算。我们的整个数据集仅包含三个句子我们的整个数据集只包含三个句子，这些句子都是来自电视剧的对话。尽管我们的数据集已经清理过，但在 ChatGPT 创建等现实场景中，清理一个 570GB 的数据集需要大量的努力。AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。
transformer算法解析
benben044的专栏
01-16 4087
transformer的概述、详述，以及示例代码
Transformer算法详解
极光喵的博客
03-08 1892
Transformer架构于2017年6月推出。最初的研究重点是自然语言处理领域的翻译任务。随后，几个具有影响力的模型被引入，包括：（1）2018年6月：GPT，第一个预训练的Transformer模型，用于微调各种自然语言处理任务，并获得了SOTA模型效果。（2）2018年10月：BERT，另一个大型预训练模型，旨在生成更好的句子摘要。（3）2019年2月：GPT-2，GPT的改进版本（模型更大），由于道德问题没有立即公开发布。
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows
iwill323的博客
12-22 3838
李沐精读论文：Swin transformer: Hierarchical vision transformer using shifted windows patch partition Linear Embedding swin transformer block
从 Seq2Seq 到 Transformer：深度学习注意力机制与编码-解码框架综述
aiqq136的博客
01-15 1041
本文首先介绍了序列到序列（Seq2Seq）模型的概念与演进过程，包括其在处理变长输入和输出序列方面的优势与局限。随后重点阐述了注意力机制（Attention）的提出背景、核心思想与重要特性，并结合自注意力（Self-Attention）、交叉注意力（Cross-Attention）等不同形式，剖析了它们在解决长时依赖与信息丢失问题中的关键作用。接着，本文详细展示了基于 Transformer 的编码器-解码器（Encoder-Decoder）结构，包括多头注意力、多层前馈网络、残差连接和掩码技术在解码过程中
小型目标检测中的Transformer：一个基准和最先进技术的综述
m0_47867638的博客
10-01 1776
Transformer在计算机视觉领域，尤其是在目标识别和检测领域中，已经迅速获得了流行。在检查最先进的目标检测方法的结果时，我们注意到，在几乎每个视频或图像数据集中，transformer都一致地超越了基于CNN的检测器。尽管基于transformer的方法仍然处于小目标检测(SOD)技术的最前沿，但本文旨在探索这些广泛网络所提供的性能优势，并确定它们在SOD方面的优势的潜在原因。由于小目标在检测框架中的可见度很低，因此它们被确定为检测框架中最具挑战性的目标类型之一。
Transformer相关学习资料整理
l8947943的博客
12-12 567
最近频繁看到论文中用到transformer，于是又回头看了看曾经经典的大作。以前只知道大致流程，本次死磕一波，好好梳理细节和内容，因网上大部分资料讲的内容都不错，遂做整理。 1. Transformer相关内容 变形金刚——Transformer入门刨析详解 【Transformer】一文搞懂Transformer | CV领域中Transformer应用 图解Transformer | The Illustrated Transformer，这篇文章做的很用心 李宏毅2022讲解transformer
一文看懂Transformer（详解）
1900的博客
11-26 1万+
Transformer
Transformer 模型详解
Wisimer
02-20 1万+
概要 目前在序列建模和转换问题中，如语言建模和机器翻译，所采用的主流框架为Encoder-Decoder框架。传统的Encoder-Decoder一般采用RNN作为主要方法，基于RNN所发展出来的LSTM和GRU也被曾认为是解决该问题最先进的方法。但是RNN的主要缺陷在于并行训练的不足。针对机器翻译问题，原论文文（Attention is all you need）提出了一种“Transforme...
25 个公式深度解读 Transformer 数学原理
最新发布
图灵教育
04-16 118
解码器层是相似的，但有一个额外的多头注意力子层，允许参与编码器的输出。另一方面，交叉注意力专注于故事的具体细节，以确保随着你的进步，能将最相关的信息融入到你的理解中。解码器的多头注意力子层，包括掩蔽的多头注意力和标准的多头注意力(注意编码器的输出) ，共同生成输出序列。收到图灵寄来的两本书《大模型应用开发极简入门》和《从零构建大模型》，重新点燃了自己深入理解大模型内部机制的热情，不能只知其然而不知其所以然，于是重温大模型核心的 Transformer 架构， 尝试用 25 个公式进行解读，遂成此文。
Transformer中的Positional Encoding公式解释
qiao1025566574的博客
09-26 671
上公式 PE(pos,2i)=sin(pos10000(2i/dmodel))PE(pos, 2i)=sin(\frac{pos}{10000^(2i/d_{model})})PE(pos,2i)=sin(10000(2i/dmodel​)pos​) PE(pos,2i+1)=cos(pos10000(2i/dmodel))PE(pos, 2i+1)=cos(\frac{pos}{10000^(2i/d_{model})})PE(pos,2i+1)=cos(10000(2i/dmodel​)pos​) 个人
Transformer详解
热门推荐
qq_52302919的博客
12-29 7万+
近期Transformer MLP系列模型的出现，增加了CV领域的多样性。但是Transformer这一不同领域的模型对学习者来说需要一个细致的学习过程.下面就是本菜鸟总结学习路线。
transformer机制讲解_[NLP]Transformer模型解析
weixin_35998791的博客
01-13 702
简介[2]Attention Is All You Need是2017年google提出来的一篇论文，论文里提出了一个新的模型，叫Transformer，这个结构广泛应用于NLP各大领域，是目前比较流行的模型。该模型没有选择大热的RNN/LSTM/GRU的结构，而是只使用attention layer和全连接层就达到了较好的效果，同时解决了RNN/LSTM/GRU中的long dependency...
Transformer关键核心代码解读
weixin_48988730的博客
12-27 1400
本篇文章介绍了transformer核心代码的原理，比如说self-attention，位置编码等
图解Transformer
04-02
<think>好的，我现在需要详细解释Transformer架构，并通过图解说明其工作机制。首先，我得回顾一下用户提供的引用内容，确保信息准确。用户提到了引用[1]到[4]，其中关键点包括Encoder-Decoder结构、注意力机制以及黑盒模型在翻译任务中的应用。 首先，我应该从整体结构入手。根据引用[3]，Transformer本质上是Encoder-Decoder架构，分为编码器和解码器两部分。需要明确每个部分的作用，以及它们如何连接。然后，注意力机制是核心，引用[1]强调了其重要性，可能需要详细解释自注意力机制和多头注意力的工作原理。 接下来，用户希望有图解说明。虽然无法直接插入图片，但可以用文字描述各个模块的结构，比如编码器层包含自注意力层和前馈网络，解码器层还包含编码器-解码器注意力层。同时，输入处理的位置编码需要提到，因为这是Transformer处理序列位置信息的关键。 工作机制部分，可以按步骤分解：输入嵌入、位置编码、编码器处理（自注意力、前馈网络）、解码器处理（自注意力、编码器-解码器注意力、前馈网络），最后输出生成。每个步骤需要简要说明其作用，比如自注意力如何捕捉序列内部关系，编码器-解码器注意力如何连接两个部分。 还要注意引用相关文献，比如在提到注意力机制时引用[^1]，提到Encoder-Decoder结构时引用[^3]。可能还需要提到应用场景，如机器翻译（引用[^2]）来具体说明其工作机制。 用户的问题可能涉及Transformer的各个组件，比如自注意力的计算、位置编码的实现方式、多头注意力的优势，以及训练和推理过程的不同。需要确保这些点都有覆盖，并且解释清晰，避免技术术语过多导致理解困难。 最后，生成相关问题时要考虑用户可能的后续疑问，比如不同注意力变体的区别、Transformer的优化方法、实际应用中的挑战等。确保问题覆盖架构细节、工作机制和实际应用，帮助用户深入理解。</think>### Transformer架构详解 Transformer是一种基于**Encoder-Decoder（编码器-解码器）**结构的深度学习模型，专为处理序列数据（如文本）设计[^3]。其核心创新在于**自注意力机制**（Self-Attention），使模型能够动态捕捉输入序列中不同位置的关系。以下是其核心组件和工作机制的图解式说明： --- #### 1. **整体架构** ``` 输入序列 → [编码器] → 中间表示 → [解码器] → 输出序列 ``` - **编码器**：将输入序列（如源语言句子）转换为包含全局信息的中间表示。 - **解码器**：基于中间表示逐步生成输出序列（如目标语言句子）。 --- #### 2. **编码器组件** 每个编码器层包含两个子层： 1. **多头自注意力层** - 计算输入序列中每个词与其他词的相关性权重，生成上下文感知的表示。 - 公式： $$ \text{Attention}(Q,K,V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V $$ 其中，$Q$（Query）、$K$（Key）、$V$（Value）由输入向量线性变换得到，$d_k$ 为向量维度。 2. **前馈神经网络（FFN）** - 对注意力输出进行非线性变换，增强模型表达能力。 --- #### 3. **解码器组件** 解码器在编码器基础上增加一个子层： 1. **掩码多头自注意力层** - 防止解码时“看到”未来信息（通过掩码实现）。 2. **编码器-解码器注意力层** - 将解码器的查询（Query）与编码器的键（Key）、值（Value）对齐，实现跨语言信息交互[^3]。 3. **前馈神经网络** --- #### 4. **输入处理** - **词嵌入**：将词转换为向量（如512维）。 - **位置编码**：通过公式注入位置信息，解决序列顺序问题： $$ PE_{(pos,2i)} = \sin(pos/10000^{2i/d}) $$ $$ PE_{(pos,2i+1)} = \cos(pos/10000^{2i/d}) $$ 其中，$pos$ 为位置，$i$ 为维度索引[^4]。 --- #### 5. **工作机制示例（以机器翻译为例）** 1. **编码阶段** - 输入句子通过编码器生成中间表示，捕获全局语义（如“猫坐在垫子上”）。 2. **解码阶段** - 解码器逐步生成目标语言词（如“The cat sat on the mat”），每一步依赖已生成的词和编码器输出。 --- ### 图解关键模块 （以下为文字描述，实际可参考示意图[^4]） 1. **自注意力计算图** - 输入向量 → 生成$Q/K/V$ → 计算注意力权重 → 加权求和输出。 2. **多头注意力** - 并行多组自注意力计算，拼接后通过线性层融合。 3. **Encoder-Decoder交互** - 解码器的查询与编码器的键、值交互，聚焦于源语言相关部分。 --- ### 应用场景 - **机器翻译**：端到端生成目标语言句子。 - **文本生成**：如GPT系列模型。 - **语音识别**：将音频序列转换为文本。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值