【新手必备】5分钟学会Transformer算法的核心要点

Transformer 是近年来在自然语言处理（NLP）领域取得显著成果的一种深度学习模型，最初由 Vaswani et al. 在 2017 年提出。

与传统的序列模型（如 RNN 和 LSTM）相比，Transformer 的主要优势在于其能够更好地处理长距离依赖关系，同时显著提高了计算效率。

Transformer 架构

Transformer 模型的核心由编码器（Encoder）和解码器（Decoder）两部分组成，每部分由多个相同的层（Layer）堆叠而成。

编码器

编码器部分由六个相同的层（来自原始论文）堆叠而成，每层分为 2 个子层。

• 多头自注意力机制

  通过计算输入序列中每个位置与其他位置之间的注意力权重，来捕捉序列中的长距离依赖关系。

• 前馈神经网络

  对每个位置的表示进行进一步的非线性变换。

每个子层后面都紧跟着一个残差连接（Residual Connection）和层归一化（Layer Normalization）。

下面，我们来对编码器的组件进行详细的描述。

1. 词向量

   原始形式的单词对机器来说毫无意义。

   词向量是将离散的词表示成连续的向量，以捕捉词与词之间的语义关系。

   词向量通过嵌入层（Embedding Layer）实现，将每个词映射到一个高维的向量空间中。

   这使得模型可以处理输入序列中的词，并在训练过程中学习词与词之间的语义关系。

   

2. 位置编码

   由于 Transformer 不像 RNN 那样具有顺序信息，因此需要显式地将位置信息加入到输入中。

   位置编码通过将每个位置映射到一个向量，提供了词在序列中的位置信息。

   常见的方法是使用正弦和余弦函数来生成位置编码。

   其中，pos 是位置，i 是维度索引，d 是嵌入维度。位置编码将被添加到词向量中，使得每个词的表示包含了位置信息。

   

3. 自注意力

   自注意力机制是 Transformer 的核心组件，它通过计算输入序列中每个位置与其他位置之间的注意力权重，来捕捉序列中的长距离依赖关系。

   具体步骤如下：

4. 查询（Query）、键（Key）、值（Value）向量

   通过线性变换得到查询、键和值向量。

   

5. 注意力权重

   通过查询和键向量的点积计算注意力权重，然后应用 softmax 函数。

   

6. 加权和

   利用注意力权重对值向量进行加权求和。

7. 残差连接和层归一化

   残差连接和层归一化用于稳定训练过程，并加速模型的收敛。

   残差连接将子层的输入直接添加到输出中，使得每一层都可以直接访问输入信号。

   层归一化则对每一层的输出进行标准化，减少内部协变量偏移。

8. 前馈层

   前馈层是一个简单的两层全连接神经网络，用于对每个位置的表示进行进一步的非线性变换。

   它在每个位置上独立操作，不共享参数。

9. 输出

   编码器的输出是一个大小为 (N, T, d) 的张量，其中每个位置的向量表示是经过多层编码器后的最终表示。

   这些表示将被传递到解码器或用于下游任务（如分类、翻译等）。

解码器

解码器层除了包含与编码器层相同的两个子层外，还额外包含一个用于处理编码器输出与解码器输入之间关系的多头注意力机制。

具体来说，解码器层包括以下三个子层：

• Masked 多头自注意力子层（Masked Multi-Head Self-Attention Sub-layer）

• 编码器-解码器注意力子层（Encoder-Decoder Multi-Head Attention Sub-layer）

• 前馈神经网络

同样，每个子层后面都有残差连接和层归一化。

1. Masked 多头自注意力子层

   在标准的多头注意力机制中，每个位置的查询（Query）会与所有位置的键（Key）进行点积计算，得到注意力分数，然后与值（Value）加权求和，生成最终的输出。

   然而，在解码器中，生成序列时不能访问未来的信息。因此需要使用掩码（Mask）机制来屏蔽掉未来位置的信息，防止信息泄露。

   具体来说，在计算注意力得分时，对未来的位置进行屏蔽，将这些位置的得分设为负无穷大，使得 Softmax 归一化后的权重为零。

   ‍

   

2. 编码器-解码器注意力子层

   编码器-解码器多头注意力子层在 Transformer 解码器中起到了关键作用，它使解码器能够有效地关注输入序列（编码器的输出），从而在生成序列时参考原始输入信息。

   具体来说，编码器-解码器多头注意力的基本思想是通过对编码器输出（Key 和 Value）和解码器当前输入（Query）来生成新的表示。

   这种机制使得解码器能够在生成序列时动态地选择性关注输入序列的不同部分。

   

3. 前馈神经网络子层

   这是一个完全连接的前馈神经网络，通常由两个线性变换和一个ReLU激活函数组成。

   它在每个位置上独立地应用相同的网络，处理每个位置的表示。

随着大模型的持续爆火，各行各业都在开发搭建属于自己企业的私有化大模型，那么势必会需要大量大模型人才，同时也会带来大批量的岗位？“雷军曾说过：站在风口，猪都能飞起来”可以说现在大模型就是当下风口，是一个可以改变自身的机会，就看我们能不能抓住了。

零基础如何学习大模型 AI

领取方式在文末

为什么要学习大模型？

学习大模型课程的重要性在于它能够极大地促进个人在人工智能领域的专业发展。大模型技术，如自然语言处理和图像识别，正在推动着人工智能的新发展阶段。通过学习大模型课程，可以掌握设计和实现基于大模型的应用系统所需的基本原理和技术，从而提升自己在数据处理、分析和决策制定方面的能力。此外，大模型技术在多个行业中的应用日益增加，掌握这一技术将有助于提高就业竞争力，并为未来的创新创业提供坚实的基础。

大模型实际应用案例分享

①智能客服：某科技公司员工在学习了大模型课程后，成功开发了一套基于自然语言处理的大模型智能客服系统。该系统不仅提高了客户服务效率，还显著降低了人工成本。
②医疗影像分析：一位医学研究人员通过学习大模型课程，掌握了深度学习技术在医疗影像分析中的应用。他开发的算法能够准确识别肿瘤等病变，为医生提供了有力的诊断辅助。
③金融风险管理：一位金融分析师利用大模型课程中学到的知识，开发了一套信用评分模型。该模型帮助银行更准确地评估贷款申请者的信用风险，降低了不良贷款率。
④智能推荐系统：一位电商平台的工程师在学习大模型课程后，优化了平台的商品推荐算法。新算法提高了用户满意度和购买转化率，为公司带来了显著的增长。
…
这些案例表明，学习大模型课程不仅能够提升个人技能，还能为企业带来实际效益，推动行业创新发展。

学习资料领取

如果你对大模型感兴趣，可以看看我整合并且整理成了一份AI大模型资料包，需要的小伙伴文末免费领取哦，无偿分享！！！
vx扫描下方二维码即可
加上后会一个个给大家发

部分资料展示

一、 AI大模型学习路线图

整个学习分为7个阶段

二、AI大模型实战案例

涵盖AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，皆可用。

三、视频和书籍PDF合集

从入门到进阶这里都有，跟着老师学习事半功倍。

如果二维码失效，可以点击下方链接，一样的哦
【CSDN大礼包】最新AI大模型资源包，这里全都有！无偿分享！！！

😝朋友们如果有需要的话，可以V扫描下方二维码联系领取~