Transformer 动画揭秘：数据处理的四大关键技术

0背景

Transformer 大模型，一种基于自注意力机制的神经网络架构，已被广泛应用于各种自然语言处理任务，比如：机器翻译、文本摘要、生成问答等。

从端到端的角度来看，Transformer 大模型中数据的处理流程主要包括四个阶段：首先是嵌入阶段（Embedding），随后是注意力机制阶段（Attention），然后是通过多层感知机（MLPs）进行处理，最后是从模型的表示转换到最终输出的解嵌入阶段（Unembedding），如下图所示：

图：Embedding -> Attention -> MLPs -> Unembedding

下面是对这四个阶段的简要介绍。

—1—Embedding（嵌入）阶段

大模型的输入通常由离散的词汇或符号组成（比如：在英文文本中，每个单词或标点符号都是一个单独的符号）。嵌入层的作用是将这些离散的符号转换成连续的、具有固定维度的向量（通常称为词嵌入）。这些向量能够捕获符号的语义以及上下文信息。

在Transformer 大模型中，无论是编码器（Encoder）还是解码器（Decoder），都包含一个嵌入层。此外，在解码器中，还会添加一个位置嵌入（Positional Embedding）层，用于记录序列中单词的位置信息，这是因为 Transformer 大模型不通过 RNN 或 CNN 等传统结构来直接捕捉序列的顺序信息。

—2—Attention （注意力机制）阶段

注意力机制构成了 Transformer 大模型的基石，它使得大模型能够在产生当前输出时聚焦于输入序列中的各个部分。Transformer 大模型采用了多种类型的注意力机制，其中包括自注意力（Self-Attention）、编码器-解码器注意力（Encoder-Decoder Attention）以及掩码多头注意力（Masked Multi-Head Attention）。

自注意力机制使得大模型能够识别序列内不同位置之间的相互关系，进而把握序列的内在结构。编码器-解码器注意力机制则使得大模型在输出生成过程中能够针对输入序列的特定部分给予关注。在注意力机制的运算过程中，会生成一个注意力权重矩阵，该矩阵揭示了输入序列中每个位置对于当前位置的贡献程度。

—3—MLPs（多层感知机，也称为前馈神经网络）阶段

在注意力机制处理之后，大模型会利用一个或多个全连接层（也称为前馈网络或 MLPs）来进行更深层次的变换和特征提取。

这些全连接层能够捕捉输入数据中的非线性关系，并辅助模型识别更复杂的模式。在 Transformer 大模型中，MLPs 一般被置于自注意力层和归一化层之间，共同构成了所谓的“编码器块”或“解码器块”。

—4—Unembedding（从模型表示到最终输出）阶段

这一过程可以被视作从大模型的内部表示到最终输出格式的转换。

在文本生成任务中，比如：机器翻译，解码器的输出将通过一个线性层和一个 Softmax 函数，以产生一个概率分布，该分布反映了下一个输出词（token）的概率。

而在其他类型的任务中，比如：文本分类，解码器的输出可能直接用于损失函数的计算（比如：交叉熵损失），或者通过其他方法转换成最终的预测结果。

​

如何学习AI大模型？

作为一名热心肠的互联网老兵，我决定把宝贵的AI知识分享给大家。 至于能学习到多少就看你的学习毅力和能力了 。我已将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

一、全套AGI大模型学习路线

AI大模型时代的学习之旅：从基础到前沿，掌握人工智能的核心技能！

二、640套AI大模型报告合集

这套包含640份报告的合集，涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。

三、AI大模型经典PDF籍

随着人工智能技术的飞速发展，AI大模型已经成为了当今科技领域的一大热点。这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。 那以下这些PDF籍就是非常不错的学习资源。

四、AI大模型商业化落地方案

作为普通人，入局大模型时代需要持续学习和实践，不断提高自己的技能和认知水平，同时也需要有责任感和伦理意识，为人工智能的健康发展贡献力量。