讲透一个强大的算法模型Transformer（一） Transformer的核心组件

已于 2024-09-12 12:00:30 修改
阅读量883 收藏 19
点赞数 16
文章标签： 算法 transformer 深度学习 人工智能 AI大模型 大模型 学习
于 2024-08-28 20:35:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/star_nwe/article/details/141649330
版权

二、核心组件

下面，我们来详细描述一下 Transformer 中的核心组件。

1. 输入嵌入

输入嵌入是将输入文本序列中的单词或符号映射为高维向量的过程。

在 Transformer 模型中，文本首先被标记化为单词或子词，然后每个标记被映射为一个固定长度的向量。

这些向量通常是通过查找嵌入矩阵（embedding matrix）得到的，该矩阵是在训练过程中学习得到的。

输入嵌入的作用是将离散的符号转换为连续的、可以直接输入到神经网络中的向量表示，使得模型能够处理和理解输入数据。

2. 位置编码

位置编码（Positional Encoding）是 Transformer 模型中的一个关键组件，用于在模型中引入序列位置信息。

由于 Transformer 模型不使用传统的循环神经网络（RNN）结构，它无法像这些传统模型那样通过其结构直接捕获输入数据的位置信息。因此，需要通过位置编码来显式地提供序列中的位置信息。

位置编码通常使用正弦和余弦函数来生成。

在这里插入图片描述

3. 自主力机制

自注意力机制是 Transformer 的核心创新之一。

它允许模型在计算某个位置的输出时，考虑输入序列中所有其他位置的信息。

具体地，对于每个输入位置，自注意力机制会计算该位置与其他所有位置的相似度（通过点积操作），并使用这些相似度作为权重来加权求和其他位置的输入表示。

自注意力机制的关键步骤包括：

  • Query、Key、Value 向量的生成

    对输入嵌入进行线性变换，生成三个不同的向量，即查询向量（Query）、键向量（Key）和值向量（Value）。

在这里插入图片描述

4. 多头注意力机制

多头注意力机制是对自注意力机制的扩展。

通过并行地执行多次自注意力机制，可以让模型从不同的角度（即不同的“头”）学习输入序列中的信息。

每个头都有自己独立的查询、键和值的线性变换，然后分别执行自注意力操作，最后将这些头的输出进行拼接，并通过线性变换生成最终的多头注意力输出。

具体来说，假设有 h 个注意力头，每个头分别计算如下：
在这里插入图片描述

多头注意力机制的优点在于它能够捕捉到不同的语义关系和特征，从而增强模型的表达能力。

5. 前馈神经网络

每个编码器和解码器层中的前馈神经网络是一个两层的全连接神经网络，作用是对每个位置的表示进行独立的非线性变换。

在这里插入图片描述

6. 层归一化和残差连接

为了防止深层网络的梯度消失问题，Transformer 在每个子层后使用了残差连接，并紧跟层归一化。
在这里插入图片描述

7. 掩码多头自注意力

在标准的多头注意力机制中，每个位置的查询（Query）会与所有位置的键（Key）进行点积计算，得到注意力分数，然后与值（Value）加权求和，生成最终的输出。

然而，在解码器中，生成序列时不能访问未来的信息。因此需要使用掩码（Mask）机制来屏蔽掉未来位置的信息。

具体来说，在计算注意力得分时，对未来的位置进行屏蔽，将这些位置的得分设为负无穷大，使得 Softmax 归一化后的权重为零。

在这里插入图片描述

8. 编码器-解码器多头注意力

在解码器中的 Multi-head Attention 也叫做 Encoder-Decoder Attention，它的 Query 来自解码器的 self-attention，而 Key、Value 则是编码器的输出。

在这里插入图片描述

三、案例代码

下面是一个使用 PyTorch 实现 Transformer 模型的简单示例代码。

该示例展示了如何构建一个基本的 Transformer 模型并使用它进行序列到序列的任务，例如机器翻译。

import torch  
import torch.nn as nn  
import torch.optim as optim  
import math  
  
class PositionalEncoding(nn.Module):  
    def __init__(self, d_model, max_len=5000):  
        super(PositionalEncoding, self).__init__()  
        pe = torch.zeros(max_len, d_model)  
        position = torch.arange(0, max_len, dtype=torch.float).unsqueeze(1)  
        div_term = torch.exp(torch.arange(0, d_model, 2).float() * (-math.log(10000.0) / d_model))  
        pe[:, 0::2] = torch.sin(position * div_term)  
        pe[:, 1::2] = torch.cos(position * div_term)  
        pe = pe.unsqueeze(0).transpose(0, 1)  
        self.register_buffer('pe', pe)  
  
    def forward(self, x):  
        x = x + self.pe[:x.size(0), :]  
        return x  
  
class TransformerModel(nn.Module):  
    def __init__(self, input_dim, output_dim, d_model=512, nhead=8, num_encoder_layers=6, dim_feedforward=2048, dropout=0.1):  
        super(TransformerModel, self).__init__()  
        self.model_type = 'Transformer'  
        self.embedding = nn.Embedding(input_dim, d_model)  
        self.pos_encoder = PositionalEncoding(d_model)  
        encoder_layers = nn.TransformerEncoderLayer(d_model, nhead, dim_feedforward, dropout)  
        self.transformer_encoder = nn.TransformerEncoder(encoder_layers, num_encoder_layers)  
        self.d_model = d_model  
        self.decoder = nn.Linear(d_model, output_dim)  
        self.init_weights()  
  
    def init_weights(self):  
        initrange = 0.1  
        self.embedding.weight.data.uniform_(-initrange, initrange)  
        self.decoder.bias.data.zero_()  
        self.decoder.weight.data.uniform_(-initrange, initrange)  
  
    def forward(self, src, src_mask):  
        src = self.embedding(src) * math.sqrt(self.d_model)  
        src = self.pos_encoder(src)  
        output = self.transformer_encoder(src, src_mask)  
        output = self.decoder(output)  
        return output  
  
def generate_square_subsequent_mask(sz):  
    mask = (torch.triu(torch.ones(sz, sz)) == 1).transpose(0, 1)  
    mask = mask.float().masked_fill(mask == 0, float('-inf')).masked_fill(mask == 1, float(0.0))  
    return mask  
  
# Example usage:  
input_dim = 1000  # Vocabulary size  
output_dim = 1000  # Output size  
seq_length = 10  # Length of the sequence  
  
# Create the model  
model = TransformerModel(input_dim=input_dim, output_dim=output_dim)  
  
# Example data  
src = torch.randint(0, input_dim, (seq_length, 32))  # (sequence_length, batch_size)  
src_mask = generate_square_subsequent_mask(seq_length)  
  
# Forward pass  
output = model(src, src_mask)  
print(output.shape)  # Expected output: [sequence_length, batch_size, output_dim]  
  
# Define a simple loss and optimizer for training  
criterion = nn.CrossEntropyLoss()  
optimizer = optim.Adam(model.parameters(), lr=0.001)  
  
# Example training loop  
for epoch in range(10):  # Number of epochs  
    optimizer.zero_grad()  
    output = model(src, src_mask)  
    loss = criterion(output.view(-1, output_dim), src.view(-1))  
    loss.backward()  
    optimizer.step()  
    print(f"Epoch {epoch+1}, Loss: {loss.item()}")

最后分享

AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。

学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。

这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！

1. 成长路线图&学习规划

要学习一门新的技术，作为新手一定要先学习成长路线图，方向不对，努力白费。

这里，我们为新手和想要进一步提升的专业人士准备了一份详细的学习成长路线图和规划。可以说是最科学最系统的学习成长路线。
在这里插入图片描述

2. 大模型经典PDF书籍

书籍和学习文档资料是学习大模型过程中必不可少的，我们精选了一系列深入探讨大模型技术的书籍和学习文档，它们由领域内的顶尖专家撰写，内容全面、深入、详尽，为你学习大模型提供坚实的理论基础。（书籍含电子版PDF）

在这里插入图片描述

3. 大模型视频教程

对于很多自学或者没有基础的同学来说，书籍这些纯文字类的学习教材会觉得比较晦涩难以理解，因此，我们提供了丰富的大模型视频教程，以动态、形象的方式展示技术概念，帮助你更快、更轻松地掌握核心知识。

在这里插入图片描述

4. 大模型项目实战

学以致用 ，当你的理论知识积累到一定程度，就需要通过项目实战，在实际操作中检验和巩固你所学到的知识，同时为你找工作和职业发展打下坚实的基础。

在这里插入图片描述

5. 大模型面试题

面试，不仅是技术的较量，更需要充分的准备。在你已经掌握了大模型技术之后，就需要开始准备面试，我们将提供精心整理的大模型面试题库，涵盖当前面试中可能遇到的各种技术问题，让你在面试中游刃有余。

在这里插入图片描述

全套的AI大模型学习资源已经整理打包，有需要的小伙伴可以微信扫描下方CSDN官方认证二维码，免费领取【保证100%免费】


如有侵权，请联系删除。

AI老猴子
关注
搭建GPT核心组件Transformer
AI天才研究院
06-03 327
GPT（Generative Pre-trained Transformer）是目前人工智能领域最为火热的模型之一，广泛应用于自然语言处理任务中。GPT的核心组件是Transformer，这一模型在2017年的论文《Attention is All You Need》中首次引入。Transformer模型在机器翻译、文本摘要、问答系统等众多自然语言处理任务上表现出色。核心概念与联系核心算法原理具体操作步骤数学模型和公式详细讲解举例说明项目实践：代码实例和详细解释说明实际应用场景。
图解Transformer（完整版）
热门推荐
龙心尘
01-17 40万+
审校：百度NLP、龙心尘 翻译：张驰、毅航、Conrad 原作者：Jay Alammar 原链接：https://jalammar.github.io/illustrated-transformer/ 编者按：前一段时间谷歌推出的BERT模型在11项NLP任务中夺得SOTA结果，引爆了整个NLP界。而BERT取得成功的一个关键因素是Transformer的强大作用。谷歌的Transformer模型...
Transformer模型学习笔记
不忘初心 加油
12-01 3218
1 参考资料 该文介绍了RNN到Transformer的特征提取器，很全面 该文对Transformer论文的解释和介绍很清楚 该文对Transformer介绍也很透彻，本文主要内容来自这里，建议看 论文的原文地址 2 模型主要内容 该模型是google提出的主要利用Attention思想做词embedding，也可以称为特征抽取器。目前大热的Bert也是以改模型为基础设计的，本文主要是对该模型进行一个学习记录。 模型的总体结构 该模型原本是由Google推出应用在翻译上的，因此，我们可以理解为，Trans
讲透一个强大的算法模型，Transformer
最新发布
Python_cocola的博客
08-28 938
今天给大家介绍一个超强的算法模型，TransformerTransformer 模型是一种基于注意力机制的深度学习模型，广泛应用于自然语言处理（NLP）任务，如机器翻译、文本生成和语义理解。它最初由 Vaswani 等人在2017年的论文《Attention is All You Need》中提出。它突破了传统序列模型（如RNN和LSTM）的局限，能够并行处理序列数据，从而大大提高了训练效率和模型性能。Transformer 模型的基本结构。
【新手必备】5分钟学会Transformer算法的核心要点
m0_48891301的博客
08-07 730
Transformer 是近年来在自然语言处理（NLP）领域取得显著成果的一种深度学习模型，最初由 Vaswani et al. 在 2017 年提出。与传统的序列模型（如 RNN 和 LSTM）相比，
transformer理解
qq_22613769的博客
08-31 6357
Transformer 是 Google 的团队在 2017 年提出的一种 NLP 经典模型，现在比较火热的 Bert 也是基于 Transformer。Transformer 模型使用了 Self-Attention 机制，不采用 RNN和LSTM 的顺序结构，使得模型可以并行化训练，而且能够拥有全局信息。 1.Transformer 结构 首先介绍 Transformer 的整体结构，下图是 Transformer 用于中英文翻译的整体结构。 ...
Transformer 大模型详解——transformer模型
zhishi0000的博客
06-30 3286
解码器栈的输出是一个 float 向量。我们怎么把这个向量转换为一个词呢？通过一个线性层再加上一个 Softmax 层实现。线性层是一个简单的全连接神经网络，其将解码器栈的输出向量映射到一个更长的向量，这个向量被称为 logits 向量。现在假设我们的模型有 10000 个英文单词（模型的输出词汇表）。因此 logits 向量有 10000 个数字，每个数表示一个单词的分数。然后，Softmax 层会把这些分数转换为概率（把所有的分数转换为正数，并且加起来等于 1）。
Transformer模型
m0_70066267的博客
08-01 1886
Transformer模型是一种在自然语言处理（NLP）及其他序列到序列（Seq2Seq）任务中广泛使用的深度学习模型框架。其基本原理和核心组件，尤其是自注意力机制（Self-Attention Mechanism），对于理解该模型的工作方式至关重要。以下是对Transformer模型基本原理和自注意力机制的详细解释。
PyTorch的Transformer模型用于构建和训练一个Transformer模型
08-15
3. **编码器（Encoder）**：Transformer模型的核心组件之一，负责对输入序列进行编码。在PyTorch中，可以通过`nn.TransformerEncoder`和`nn.TransformerEncoderLayer`来实现。`TransformerEncoderLayer`定义了单个...
【GPT使用的transformer模型】一篇文章讲透
2303_79387663的博客
03-21 1219
Transformer模型可用于生成文本的摘要。编码器将输入文本转换为隐藏状态，解码器则根据这些隐藏状态生成摘要。通过调整解码器的输出长度，可以控制摘要的长度和详细程度。
动手写transformer算法来计算字符串的翻译.zip
06-21
Transformer算法是自然语言处理（NLP）领域的一种革命性模型，由Google在2017年提出，并在《Attention is All You Need》论文中详细阐述。这个算法彻底改变了序列到序列学习的任务，如机器翻译、文本摘要和问答系统...
Transformer 模型
WYY105的博客
11-29 173
Transformer是由Google的研究团队，在2017年一篇名为《》的论文中提出的。Transformer模型的核心思想是完全抛弃了传统的循环神经网络（RNN）和卷积神经网络（CNN）结构，而是通过多层编码器和解码器的堆叠来实现输入序列到输出序列的映射。它使用自注意力机制（self-attention）来处理输入序列和输出序列，因此可以并行计算，极大地提高了计算效率。它可以捕捉输入序列中元素之间的关系，包括句法结构、语义信息和上下文信息等。
transformer模型
qq_43012160的博客
09-12 384
transformer模型 最近想学一下BERT，在这之前就先学了一下transformer。 transformer原本是用来做机器翻译的，大概的体系结构长这样： Encoder-Decoder框架 这个框架主要用在机器翻译和机器问答领域，就是有两个组件Encoder和Decoder。对于给定的输入source (x1,x2,x3,…,xn), 首先编码器将其编码成一个中间表示向量z=(z1,...
Transformer 模型详解
酒酿小圆子呀～
03-27 5102
本内容主要介绍 Transformer 模型的具体实现。2017 年，Google 在论文 Attention is All you need 中提出了 Transformer 模型，其使用 Self-Attention 结构取代了在 NLP 任务中常用的 RNN 网络结构。相比 RNN 网络结构，其最大的优点是可以并行计算。
Transformer模型讲解
qq_45301231的博客
05-20 2425
Transrofmer模型讲解 接下来我将介绍《Attention is all you need》这篇论文。这篇论文是google机器翻译团队在2017年6月放在arXiv上，最后发表在2017年nips上，到目前为止google学术显示引用量为2203，可见也是受到了大家广泛关注和应用。这篇论文主要亮点在于 1）不同于以往主流机器翻译使用基于RNN的seq2seq模型框架，该论文用attention机制代替了RNN搭建了整个模型框架。 2）提出了多头注意力（Multi-headed attention）
深度学习：transformer模型
皮皮blog
12-10 5万+
Google于2017年6月发布在arxiv上的一篇文章《Attention is all you need》，提出解决sequence to sequence问题的transformer模型，用全attention的结构代替了lstm，抛弃了之前传统的encoder-decoder模型必须结合cnn或者rnn的固有模式，只用attention，可谓大道至简。文章的主要目的是在减少...
人工智能（二）-Transformer模型
m0_69270256的博客
05-22 6047
上篇文章以对话模式为例讲了目前人工智能的整体架构，但是大模型依然有很多细节问题，这里作者讲一讲目前的Transformers模型原理。
如何从0到1创建一个Transformer
04-25
创建一个Transformer模型需要以下步骤： 1. 数据准备：收集并准备用于训练的数据集。对于机器翻译任务，通常需要一对句子的平行语料，包括源语言和目标语言的句子。 2. 数据预处理：对数据进行预处理，包括分词、编码、填充等操作。对于Transformer模型，通常使用字或者子词作为最小的单位进行编码。 3. 构建模型架构：Transformer模型由编码器和解码器组成。编码器和解码器都由多个相同的层堆叠而成。每个层包含多头自注意力机制和前馈神经网络。 4. 自注意力机制：自注意力机制是Transformer模型的核心组件。它能够在输入序列中捕捉到不同位置之间的依赖关系。通过计算注意力权重，模型可以根据输入序列中的上下文信息来加权聚合。 5. 前馈神经网络：每个层还包含一个前馈神经网络，它将自注意力机制的输出作为输入，并通过全连接层进行处理。 6. 残差连接和层归一化：为了避免梯度消失和梯度爆炸问题，Transformer模型使用残差连接和层归一化。残差连接将输入直接添加到层的输出上，层归一化则对每个层的输出进行归一化处理。 7. 模型训练：使用准备好的数据集对模型进行训练。训练过程中，通过最小化损失函数来优化模型参数，常用的优化算法包括Adam和SGD。 8. 模型评估：使用验证集或测试集对训练好的模型进行评估，计算模型在不同指标上的性能，如BLEU、ROUGE等。 9. 模型推理：使用训练好的模型进行推理，输入源语言句子，通过解码器生成目标语言句子。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值