【课程总结】day21（下）：大模型的三大架构及T5体验

于 2024-08-15 19:17:54 发布
阅读量878 收藏 23
点赞数 28
分类专栏： 人工智能 文章标签： 架构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Deadwalk/article/details/141229877
版权

前言

在前两篇学习中【课程总结】day19（中）：Transformer架构及注意力机制了解，我们初步了解大模型的公共底层架构Transformer的构成，同时借助对 Transformer 的代码深入了解(【课程总结】day20：Transformer源码深入理解之训练过程)，初步掌握了 Transformer 的训练过程。本篇我们将对大模型的训练阶段进行初步了解，同时部署一个T5模型进行试用体验。

大模型的三大架构

大模型（如大型语言模型）的架构通常有多种类型，以下是三种主要的架构：

Encoder-Decoder 架构

架构：
由两个主要部分组成：编码器（Encoder）和解码器（Decoder），即Transformer 架构。它先理解输入的信息（Encoder部分），然后基于这个理解生成新的、相关的内容（Decoder部分）。

特点：

  • 这种架构就像是翻译家。他先听你说一段话（比如英文），理解它，然后把它翻译成另一种语言（比如中文）。
  • 擅长处理需要理解输入然后生成相关输出的任务，比如翻译或问答系统。

代表公司及产品：

  • Google：Transformer、T5（Text-to-Text Transfer Transformer）
  • Facebook：BART（Bidirectional and Auto-Regressive Transformers）

Encoder-Only 架构

架构：
仅包含编码器部分，即只是使用 Transformer 的 Encoder ，它专注于理解和分析输入的信息，而不是创造新的内容。

特点：

  • 这种架构就像是一个专业的书评家。他阅读和理解一本书（输入的信息），然后告诉你这本书是关于什么的，比如它的主题是爱情、冒险还是悬疑。
  • 擅长理解和分类信息，比如判断一段文本的情感倾向（积极还是消极）或者主题分类。

代表公司及产品：

  • Google：BERT（Bidirectional Encoder Representations from Transformers）
  • Facebook：RoBERTa、DistilBERT

Decoder-Only 架构

架构：
仅包含解码器部分，即只是使用 Transformer 的 Decoder ，它接收一些信息（开头），然后生成接下来的内容（故事）。

特点：

  • 这种架构就像一个讲故事的人。你给他一个开头，比如“有一次，一只小猫走失了”，然后他会继续这个故事，讲述下去，一直到故事结束。
  • 擅长创造性的写作，比如写小说或自动生成文章。它更多关注于从已有的信息（开头）扩展出新的内容。

代表公司及产品：

  • OpenAI：GPT-3、GPT-4

三大架构演进图

大模型T5的体验

为了对大模型有个初步感受，本次我们拉取代码在本地部署一个T5模型并体验它。

环境搭建

体验大模型的方法有两种方案：本地环境 和 远程环境。

本地环境

本地环境的配置和使用方法，可以查看往期文章：Windows下安装ubuntu方法。

远程环境

第一步：访问Modelscope平台，注册账号。

第二步：启动魔搭平台的PAI-DSW实例

第三步：在新开的页面中登录阿里云账号

第四步：在PAI-DSW实例中启动终端命令行

选择模型

在魔搭平台中搜索ChatLM模型，查看中文对话0.2B小模型，选择 模型文件，点击 下载模型。

代码拉取

在终端中输入以下命令，拉取模型代码

git clone https://www.modelscope.cn/charent/ChatLM-mini-Chinese.git

安装依赖

pip install transformers

模型使用

from transformers import AutoTokenizer, AutoModelForSeq2SeqLM
import torch

# 因为已经下载了模型，所以model_id改为本地路径
model_id = 'ChatLM-mini-Chinese'

# 判断GPU是否可用
device = torch.device('cuda' if torch.cuda.is_available() else 'cpu')

# 加载分词器
tokenizer = AutoTokenizer.from_pretrained(model_id)

# 加载模型
model = AutoModelForSeq2SeqLM.from_pretrained(model_id, trust_remote_code=True).to(device)

txt = '如何评价Apple这家公司？'

# 对输入内容编码
encode_ids = tokenizer([txt])
input_ids, attention_mask = torch.LongTensor(encode_ids['input_ids']), torch.LongTensor(encode_ids['attention_mask'])

# 调用模型预测结果
outs = model.my_generate(
    input_ids=input_ids.to(device),
    attention_mask=attention_mask.to(device),
    max_seq_len=256,
    search_type='beam',
)

# 对输出内容解码
outs_txt = tokenizer.batch_decode(outs.cpu().numpy(), skip_special_tokens=True, clean_up_tokenization_spaces=True)

# 打印输出
print(outs_txt[0])

运行结果：

补充知识

tokenizer 分词器

在Jupyter Notebook中查看tokenizer，可以看到分词器中包含常见的Token。

PreTrainedTokenizerFast(name_or_path='ChatLM-mini-Chinese', vocab_size=29298, model_max_length=1000000000000000019884624838656, is_fast=True, padding_side='right', truncation_side='right', special_tokens={'eos_token': '[EOS]', 'unk_token': '[UNK]', 'pad_token': '[PAD]'}, clean_up_tokenization_spaces=True),  added_tokens_decoder={
	0: AddedToken("[PAD]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
	1: AddedToken("[EOS]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
	2: AddedToken("[SEP]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
	3: AddedToken("[BOS]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
	4: AddedToken("[CLS]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
	5: AddedToken("[MASK]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
	6: AddedToken("[UNK]", rstrip=False, lstrip=False, single_word=False, normalized=False, special=True),
}
model 模型

在Jupyter Notebook中查看model，可以看到T5模型的结构。

TextToTextModel(
  (shared): Embedding(29298, 768)
  (encoder): T5Stack(
    (embed_tokens): Embedding(29298, 768)
    (block): ModuleList(
      (0): T5Block(
        (layer): ModuleList(
          (0): T5LayerSelfAttention(
            (SelfAttention): T5Attention(
              (q): Linear(in_features=768, out_features=768, bias=False)
              (k): Linear(in_features=768, out_features=768, bias=False)
              (v): Linear(in_features=768, out_features=768, bias=False)
              (o): Linear(in_features=768, out_features=768, bias=False)
              (relative_attention_bias): Embedding(32, 12)
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
          (1): T5LayerFF(
            (DenseReluDense): T5DenseActDense(
              (wi): Linear(in_features=768, out_features=3072, bias=False)
              (wo): Linear(in_features=3072, out_features=768, bias=False)
              (dropout): Dropout(p=0.1, inplace=False)
              (act): ReLU()
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
        )
      )
      (1-9): 9 x T5Block(
        (layer): ModuleList(
          (0): T5LayerSelfAttention(
            (SelfAttention): T5Attention(
              (q): Linear(in_features=768, out_features=768, bias=False)
              (k): Linear(in_features=768, out_features=768, bias=False)
              (v): Linear(in_features=768, out_features=768, bias=False)
              (o): Linear(in_features=768, out_features=768, bias=False)
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
          (1): T5LayerFF(
            (DenseReluDense): T5DenseActDense(
              (wi): Linear(in_features=768, out_features=3072, bias=False)
              (wo): Linear(in_features=3072, out_features=768, bias=False)
              (dropout): Dropout(p=0.1, inplace=False)
              (act): ReLU()
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
        )
      )
    )
    (final_layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
    (dropout): Dropout(p=0.1, inplace=False)
  )
  (decoder): T5Stack(
    (embed_tokens): Embedding(29298, 768)
    (block): ModuleList(
      (0): T5Block(
        (layer): ModuleList(
          (0): T5LayerSelfAttention(
            (SelfAttention): T5Attention(
              (q): Linear(in_features=768, out_features=768, bias=False)
              (k): Linear(in_features=768, out_features=768, bias=False)
              (v): Linear(in_features=768, out_features=768, bias=False)
              (o): Linear(in_features=768, out_features=768, bias=False)
              (relative_attention_bias): Embedding(32, 12)
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
          (1): T5LayerCrossAttention(
            (EncDecAttention): T5Attention(
              (q): Linear(in_features=768, out_features=768, bias=False)
              (k): Linear(in_features=768, out_features=768, bias=False)
              (v): Linear(in_features=768, out_features=768, bias=False)
              (o): Linear(in_features=768, out_features=768, bias=False)
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
          (2): T5LayerFF(
            (DenseReluDense): T5DenseActDense(
              (wi): Linear(in_features=768, out_features=3072, bias=False)
              (wo): Linear(in_features=3072, out_features=768, bias=False)
              (dropout): Dropout(p=0.1, inplace=False)
              (act): ReLU()
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
        )
      )
      (1-9): 9 x T5Block(
        (layer): ModuleList(
          (0): T5LayerSelfAttention(
            (SelfAttention): T5Attention(
              (q): Linear(in_features=768, out_features=768, bias=False)
              (k): Linear(in_features=768, out_features=768, bias=False)
              (v): Linear(in_features=768, out_features=768, bias=False)
              (o): Linear(in_features=768, out_features=768, bias=False)
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
          (1): T5LayerCrossAttention(
            (EncDecAttention): T5Attention(
              (q): Linear(in_features=768, out_features=768, bias=False)
              (k): Linear(in_features=768, out_features=768, bias=False)
              (v): Linear(in_features=768, out_features=768, bias=False)
              (o): Linear(in_features=768, out_features=768, bias=False)
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
          (2): T5LayerFF(
            (DenseReluDense): T5DenseActDense(
              (wi): Linear(in_features=768, out_features=3072, bias=False)
              (wo): Linear(in_features=3072, out_features=768, bias=False)
              (dropout): Dropout(p=0.1, inplace=False)
              (act): ReLU()
            )
            (layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
            (dropout): Dropout(p=0.1, inplace=False)
          )
        )
      )
    )
    (final_layer_norm): FusedRMSNorm(torch.Size([768]), eps=1e-06, elementwise_affine=True)
    (dropout): Dropout(p=0.1, inplace=False)
  )
  (lm_head): Linear(in_features=768, out_features=29298, bias=False)
)
  • 查看该模型的结构，其结构是一个典型的Transformer模型结构。
  • (encoder): T5Stack 是编码器，其内部是由10个T5Block组成，(decoder): T5Stack 是解码器，其内部也是由10个T5Block组成。
  • T5LayerSelfAttention 是自注意力处理模块，T5LayerCrossAttention 是融合注意力处理模块，T5LayerFF 是前馈模块。
  • (lm_head): Linear 是对应Transformer的输出层。

内容小结

  • 大模型有三大架构：Encoderdecoder、Encoder-Only、Decoder-Only。
  • Encoderdecoder架构就像是翻译家，代表模型是T5模型。
  • Encoder-Only架构就像是书评家，代表模型是BERT模型。
  • Decoder-Only架构就像是数学家，代表模型是GPT-4模型。
  • 大模型训练阶段由三个阶段组成：预训练(PT) 、监督微调(SFT) 和 基于人类反馈的强化学习(RLHF) 。

参考资料

CSDN:大语言模型的三种主要架构

CSDN:解析大语言模型训练三阶段

热情的Dongming
关注
  • 28
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AI大模型应用入门实战与进阶：T5模型的原理与实践
程序员光剑
01-15 277
1.背景介绍 T5模型是一种基于Transformer架构的预训练语言模型，由Google发布。T5的全称是Text-to-Text Transfer Transformer，即文本到文本转移Transformer。T5模型的主要目标是通过一种统一的文本到文本的预训练框架，实现多种NLP任务的预训练和微调。T5模型的出现为NLP领域的研究者和工程师提供
介绍 AI大模型 T5
LJH_java10086的博客
03-14 642
T5的设计目标是通过将不同的NLP任务转化为文本到文本（Text-To-Text）的形式，使得模型训练和推理过程更加简洁和统一。通过将各种NLP任务都转化为统一的文本变换任务，T5可以在多个任务之间进行知识共享和迁移学习，使得模型能够更好地适应不同任务的特点。具体来说，给定一个输入文本，模型的任务是将其转换为一个输出文本，而这个输出文本则与任务相关。总之，T5是一种基于Transformer架构的自然语言处理模型，通过将各种NLP任务转化为文本到文本的形式，使得模型训练和推理过程更加简洁和统一。
介绍Google推出的大一统模型—T5
学姐带你玩AI的博客
02-01 2475
T5希望提出一个统一的模型框架，可以方便地评估在阅读理解、摘要生成、文本分类等一系列NLP任务上，不同的模型结构，预训练目标函数，无标签数据集等的影响.
大语言模型系列-T5
君子之学必日新，日新者日进也。不日新者必日退，未有不进而不退者
01-24 4346
目前已经讲解了目前LLM的三大流派的两个起始模型：GPT-1（Decoder only）、BERT（Encoder only），但是这两个模型针对不同下游不同的NLP任务时还需要进行一定的修改（如添加一些线性层），Google经过庞大的预训练，最终提出了一个通用框架T5模型（Encoder-Decoder）， 将所有NLP任务转化为text to text任务，微调时无需再修改模型，直接在原模型上微调即可。ps：T5最核心的理念是：使用前缀任务声明及文本答案生成，统一所有自然语言处理任务的输入和输出。
大语言模型应用指南：人工智能的起源
程序员光剑
07-26 322
人工智能，这一曾经只存在于科幻小说中的概念，如今正以惊人的速度走进现实，深刻地改变着我们的世界。从自动驾驶汽车到智能语音助手，从医疗诊断到金融交易，人工智能的应用已经渗透到各个领域，为人类社会带来了前所未有的机遇和挑战。在人工智能发展的漫长历史中，大语言模型（Large Language Model, LLM）的出现无疑是一个重要的里程碑。它们是基于深度学习技术构建的巨型神经网络，能够理解和生成人类语言，并在各种任务中展现出惊人的能力。
大语言模型应用指南：还原论与涌现性
最新发布
程序员光剑
08-01 369
近年来，随着深度学习技术的飞速发展，大语言模型（LLMs）在自然语言处理领域取得了突破性的进展。LLMs能够理解和生成复杂、连贯的自然语言文本，极大地推动了人工智能在各个领域的应用。然而，LLMs的复杂性也带来了诸多挑战，如涌现性问题、可解释性困难、以及过拟合等。本文旨在探讨LLMs的应用，并从还原论与涌现性的角度出发，提出一种新的应用指南。LLMs的核心算法原理主要包括词嵌入、注意力机制、Transformer架构、预训练与微调等。词嵌入：将自然语言文本转换为向量表示。注意力机制。
大语言模型应用指南：自然语言处理的发展历程
程序员光剑
06-30 204
大语言模型应用指南：自然语言处理的发展历程 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大语言模型, 自然语言处理, 发展历程, 应用案例, 技术趋势 1. 背景介绍
【大模型应用开发 动手做AI Agent】思维链
程序员光剑
06-06 1587
更大规模的大模型：随着计算能力的提升和数据量的增加，大模型的规模将继续扩大，具备更强的自然语言处理能力。多模态AI Agent：未来的AI Agent将不仅限于自然语言处理，还将具备图像、语音等多模态感知和处理能力。自适应学习：未来的AI Agent将具备自适应学习能力，能够根据环境和任务的变化，自动调整自身的行为和策略。
Transformer大模型实战 计算句子的相似度
程序员光剑
07-29 279
Transformer大模型实战：计算句子的相似度 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：Transformer, 句
T5模型：打破Few-shot Learning的次元壁垒
Chaos的博客
03-13 3352
自然语言处理（NLP）是一种用于理解人类语言的计算机科学领域。在过去的几年中，随着深度学习技术的发展，NLP领域也取得了突破性进展。在众多的NLP模型中，T5模型作为一种强大的语言生成模型，在自然语言理解、翻译和问答等任务中表现出色，成为了该领域的研究热点之一。 本文将介绍T5模型的原理和优势，并结合案例和代码进行说明。
GPTBERTT5等主流预训练语言模型对比评估
程序员光剑
03-24 1159
非常感谢您的委托,我将以专业的技术语言为您撰写这篇关于主流预训练语言模型的对比评估文章。我会确保文章内容逻辑清晰、结构紧凑、语言简明易懂,并针对您提出的各项要求进行全面深入的探讨和阐述。在撰写过程中,我会充分研究相关技术,提供准确可靠的信息和数据,力求给读者带来实用价值。文章结构将严格遵循您提出的大纲要求,并使用Markdown格式和LaTeX公式进行排版。我会尽力确保这篇博客文章内容饱满、
深入理解深度学习——BERT派生模型：T5（Text to Text Transfer Transformer）
热门推荐
冯·诺依曼
06-24 2万+
T5的全称为Text to Text Transfer Transformer，是谷歌提出的预训练语言模型领域的通用模型，该模型将所有自然语言问题都转化成文本到文本的形式，并用一个统一的模型解决。为了得到大一统的高质量预训练语言模型，T5不可避免地走上了“大力出奇迹”的道路，使用了更大的模型和更多的数据，但是模型和数据规模只是T5通往最强模型的手段之一，T5最核心的理念是：使用前缀任务声明及文本答案生成，统一所有自然语言处理任务的输入和输出。
大型语言模型的演变——BERT、GPT3、T5 和 PaLM
云上笛暮
07-04 1706
Transformers 的主要构建块是自注意力，这是注意力的一种变体，它将序列中的每个元素替换为序列其余部分的加权平均值。凭借大规模的参数，它表现出了出色的小样本性能，在 29 个最广泛评估的英语 NLP 任务中的 28 个上取得了最先进的结果，包括代码生成、问答、多语言生成、NMT、推理ETC。MUM 是多模式的，因此它可以理解文本和图像中的信息。在本文中，我们讨论了基于 Transformer 的自监督语言模型系统，并探讨了几种流行的模型，这些模型要么在行业中大量使用，要么优于当前的技术水平。
Gpt,gpt2,gpt3,bert,roberta,t5模型区别分析
qq_41111734的博客
06-30 4628
Gpt,gpt2,gpt3,bert,roberta,t5模型区别分析
T5论文个人记录
qq_55736201的博客
12-09 1193
参考&转载自： 介绍Google推出的大一统模型—T5_谷歌大模型_深度之眼的博客-CSDN博客T5 和 mT5-CSDN博客T5：Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer（万字长文略解T5）_t5论文_hithithithithit的博客-CSDN博客 博主在学习的过程中看到了下面这段，要笑死了 T5 （Transfer Text-to-Text Transformer）提出一个统
大模型T5
qq_32907491的博客
05-04 1291
T5 由谷歌的 Raffel 等人于 2020年7月提出，相关论文为“Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer”。迁移学习技术在NLP领域的兴起，带来了一系列方法、模型和实践的创新。作者们提出了一种将所有的机遇文本的语言任务建模为文本到文本（text-to-text）的统一框架。作者系统研究了预训练目标、模型架构、未标注的数据集、迁移学习方法和其他因素在语言理解任务上的对比效果。
【T5模型源码】深入T5模型：源码解析与实现细节
十一月廿七风雨大作
04-01 3075
我们在日常业务中可能会遇到出海场景，会涉及多个地区和语言，目前来说mT5仍然是多语言翻译任务种比较fancy的模型。T5作为mT5的前身，模型结构和mT5没什么区别，本篇文章将详细介绍在`transformers`库中T5模型的源码。
大模型用到的位置编码汇总（面试）
刘文凯的博客
04-16 1457
大模型的外推性问题是指大模型在训练时和预测时的输入长度不一致，导致模型的泛化能力下降的问题。在目前的大模型中，一般指的是超出预训练设置的上下文长度时，依旧保持良好推理效果的能力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值