Transformer大揭秘：从入门到精通，一篇搞定所有关键知识点！-CSDN博客

本文链接：https://blog.csdn.net/2401_85343303/article/details/147852885

你将学习到的内容：本文将深入探讨Transformer架构，这是当今几乎所有尖端大型语言模型架构的核心组成部分。

首先，我们将简要回顾一些与自然语言处理（NLP）相关的基本概念，随后逐步解析Transformer的工作原理。

适用人群：本文适合对自然语言处理（NLP）感兴趣的任何人阅读。

文章难度：尽管本文并不复杂，但由于涉及众多概念，可能对新手来说有一定的难度。

先决条件：为了更好地理解本文内容，大家需要对标准神经网络有基本的工作理解，还需要对嵌入、编码器和解码器有初步认识。

Transformer之前的NLP简史：在深入探讨Transformer之前，我们简要介绍一些必要的概念和技术背景。

如果你已经熟悉这些内容，可以选择跳过此部分。其中，词向量嵌入是理解自然语言处理的基础，它通过将单个单词转换为向量来代表其含义。

词汇向量嵌入器的职责：将词汇转化为数字，以某种方式捕捉词汇的普遍含义。

虽然具体的实现方法可能因技术而异，但最终生成的成果可以视作一个“词空间”，这个空间遵循着一定的逻辑和关系。

单词本身在数学上难以直接运算，但蕴含单词信息的向量以及它们之间形成的关联，却便于数学操作。

这种将单词转化为向量的过程，我们通常称之为“嵌入”。Word2Vec，作为自然语言处理领域的一篇标志性论文，旨在生成具备特定实用特性的嵌入。

研究者们希望单词之间能够进行代数运算，而Word2Vec正是为了实现这一目标而创建的。

利用Word2Vec，当你嵌入“king”的向量，减去“man”的嵌入向量，再加上“woman”的嵌入向量，你将得到一个与“queen”含义相近的向量。

词汇嵌入的代数运算概念展示：如果将每个点视为从原点出发的向量，当你从“king”（国王）的向量中减去“man”（男人）的向量，并加上“woman”（女人）的向量时，得到的结果向量会接近于“queen”（女王）的向量。实际上，这些嵌入空间的维度要高得多，而“接近度”的度量标准也可能不太直观（如余弦相似度），但基本原理是相同的。

随着技术的不断进步，词嵌入仍然扮演着至关重要的角色，其中GloVe、Word2Vec和FastText都是备受推崇的选择。虽然子词嵌入通常展现出比全词嵌入更强大的性能，但这一话题已超出了本文范围。

以上的AI大模型学习资料，都已上传至CSDN，需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

递归神经网络（RNNs）

当我们能够将单词转换为具有特定意义的数字向量时，便可以开始深入分析单词序列。

早期的一种有效策略是利用递归神经网络（RNNs），这种网络能够训练自身在顺序输入上循环运行，从而捕捉序列中的依赖关系。
RNN（循环神经网络）的基本概念：它是一种普通的全连接神经网络，但会将输出反馈到自身。

RNN的示意结构（假设有3个隐藏神经元并用于处理2个输入）：图中红色箭头表示递归连接，它连接着来自后续递归层的信息。蓝色箭头表示内部连接，类似于密集层。为了说明起见，我们复制了神经网络，但请记住，网络实际上是反馈到自身的，这意味着第二个（及后续）模块的参数与第一个模块相同。

与传统神经网络不同，递归神经网络（RNNs）通过在循环连接中重用相同的参数，能够处理任意长度的序列。

这意味着，无论是长度为10的序列还是长度为100的序列，RNNs都只需要相同数量的参数。

这种网络结构因其灵活性而被广泛应用于多种建模问题，这些问题通常可以归纳为序列到序列建模、序列到向量建模、向量到序列建模，以及序列到向量再到序列的建模。

不同建模策略中RNN的一些应用概念图：序列到序列模型可能用于预测文本补全中的下一个单词；序列到向量模型可能用于评估客户对评论的满意度；向量到序列模型可能用于将图像压缩为向量，并要求模型将该图像描述为一系列文本；序列到向量到序列模型可能用于文本翻译，需要理解句子，将其压缩为某种表示，然后在另一种语言中构建该压缩表示的翻译。

尽管递归神经网络（RNNs）理论上能够处理无限长度的序列，但这一承诺在实际应用中并不完全实用。

由于RNNs的每一层都共享相同的权重，它们在处理长序列时容易出现“遗忘”输入内容的问题。

因此，RNNs在实际应用中通常只适用于处理非常短的单词序列。

为了克服这一局限性，研究者们曾尝试通过引入“门控”和“泄露”机制来改进RNNs。

其中最著名且有效的改进是长短期记忆网络（LSTM），我们将在下一节中对其进行详细描述。

长短期记忆（LSTMs）

LSTM（长短期记忆网络）的设计初衷是为了增强递归神经网络在保留重要信息方面的能力。

LSTM具备短期和长期记忆功能，能够在序列的任意位置中，选择性地保留或遗忘某些信息到其长期记忆中。

LSTM

LSTM的三个关键子组件

LSTM（长短期记忆网络）的核心概念体现在其三个关键的子组件上：“遗忘门”负责筛选并遗忘部分旧的长期记忆信息，“输入门”则负责将新的信息加入到长期记忆中，而“输出门”则负责控制从长期记忆中提取的信息，并将其作为下一次迭代的短期记忆使用。
LSTM中的参数。这个特定的LSTM期望一个维度为3的输入向量，并持有维度为2的内部状态向量。向量的维度是一个可配置的超参数。此外，请注意每个门控后面的“S”和“T”。它们分别代表sigmoid或tanh激活函数，用于将值压缩到一定的范围内，如0到1或-1到1。这种“压缩”使得网络能够“忘记”并“记忆”某些信息。图片由作者绘制，深受来源启发。

LSTM及其类似架构如GRU，相较于经典的RNN，展现出了显著的改进。

它们将记忆作为一个独立的概念，能够检查和提取关键信息，这使得它们在处理序列数据方面更具优势。

然而，尽管LSTM能够建模更长的序列，但在许多语言建模任务中，它们仍面临记忆遗忘的问题。

此外，由于LSTM和RNN一样，都依赖于前序输入进行逐步计算，因此它们的训练过程难以并行化，导致训练速度相对较慢。

通过对齐实现注意力机制

划时代的论文《通过联合学习对齐和翻译实现神经机器翻译》普及了注意力机制的概念，并为Transformer中的多头自注意力机制奠定了基础。

简单来说，注意力机制允许模型在生成输出时查看所有潜在的输入，并根据需要选择性地关注与当前输出相关的输入。换句话说，它赋予了模型决定哪些输入在特定时刻是重要或不重要的能力。

这种方法在翻译任务中产生了深远的影响。

它使模型能够更准确地捕捉输入中的关键信息，从而在翻译过程中展现出前所未有的性能。

正方形代表词汇向量嵌入，圆圈代表中间向量表示。红色和蓝色的圆圈是循环网络的隐藏状态，而白色的圆圈是通过对齐机制由注意力机制创建的隐藏状态。关键点是，注意力机制可以选择在任何给定步骤中呈现给输出的正确输入。

以上的AI大模型学习资料，都已上传至CSDN，需要的小伙伴可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

Transformer

在前面的章节中，我们了解了一些基础。

接下来，我们将重点转向Transformer，这是一个集结了前人的成功智慧和新颖思想的杰作，它彻底革新了自然语言处理领域。

Transformer

我们将逐步拆解Transformer的每一个组成部分，深入探讨每个模块的工作原理。

虽然涉及的内容相当丰富，但我们会尽量避免复杂的数学推导，确保概念易于理解。

架构

Transformer本质上是一种编码器/解码器风格的模型，与我们之前探讨的序列到向量再到序列的模型类似。

编码器负责接收输入并将其转化为一个能够表达整个输入意义的紧凑表示，而解码器则基于这个嵌入，递归地构建并生成输出。

简述在序列到向量到序列任务中工作的转换器：输入（例如“我是一名经理”）被压缩成某种抽象表示，该表示编码了整个输入的意义。解码器以递归的方式工作，就像我们之前讨论的RNNs一样，以构建输出。

输入嵌入和位置编码

原始图中的输入嵌入

Transformer的输入嵌入策略与我们之前讨论的方法类似，它利用类似于Word2Vec的词空间嵌入器将输入单词全部转换为向量。

这些嵌入向量是与模型一同进行训练的，实际上可以看作是一个随模型学习而不断优化的查找表。

在初始阶段，每个单词都对应一个随机初始化的向量，但随着模型的学习过程，这些向量会根据每个单词在上下文中的表现而逐渐调整和优化。

与递归神经网络（RNNs）逐步处理序列的方式不同，Transformers能够一次性地编码整个输入序列。

然而，由于这种处理方式，Transformer编码器可能会失去有关输入单词之间顺序位置的信息。

为了弥补这一缺陷，Transformer引入了位置编码，以确保模型能够识别序列中单词的顺序。

一、大模型风口已至：月薪30K+的AI岗正在批量诞生

在这里插入图片描述

2025年大模型应用呈现爆发式增长，根据工信部最新数据：

国内大模型相关岗位缺口达47万

初级工程师平均薪资28K（数据来源：BOSS直聘报告）

70%企业存在"能用模型不会调优"的痛点

真实案例：某二本机械专业学员，通过4个月系统学习，成功拿到某AI医疗公司大模型优化岗offer，薪资直接翻3倍！

在这里插入图片描述

二、如何学习大模型 AI ？

🔥AI取代的不是人类，而是不会用AI的人！麦肯锡最新报告显示：掌握AI工具的从业者生产效率提升47%，薪资溢价达34%！🚀

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

1️⃣ 提示词工程：把ChatGPT从玩具变成生产工具
2️⃣ RAG系统：让大模型精准输出行业知识
3️⃣ 智能体开发：用AutoGPT打造24小时数字员工

📦熬了三个大夜整理的《AI进化工具包》送你：
✔️ 大厂内部LLM落地手册（含58个真实案例）
✔️ 提示词设计模板库（覆盖12大应用场景）
✔️ 私藏学习路径图（0基础到项目实战仅需90天）

在这里插入图片描述