大语言模型的三种主要架构 Decoder-Only、Encoder-Only、Encoder-Decoder

最新推荐文章于 2024-06-26 21:45:49 发布
最新推荐文章于 2024-06-26 21:45:49 发布
阅读量7.1k 收藏 46
点赞数 30
文章标签： LLM 大语言模型
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010899985/article/details/135144595
版权

现代大型语言模型（LLM）的演变进化树，如下图：

https://arxiv.org/pdf/2304.13712.pdf

  • 基于 Transformer 模型以非灰色显示：

    • decoder-only 模型在蓝色分支，

    • encoder-only 模型在粉色分支，

    • encoder-decoder 模型在绿色分支。

  • 模型在时间线上的垂直位置表示它们的发布日期。

  • 开源模型由实心方块表示，而闭源模型由空心方块表示。

  • 右下角的堆积条形图显示了各公司和机构的模型数量。

从时间轴上，我们可以看到：

2021年前，当 OpenAI 决定在 GPT 系列中采用 Decoder-Only 架构时，他们实际上是在逆流而上。在那个时代，Encoder-Decoder 架构，如在 BART 和 Transformer 模型中见到的，是技术巨头和学术界的宠儿，而 Decoder-Only 架构当时被视为一条不被主流认可的小径。

然而，正是这种冒险的选择催生了一个突破性的产品——ChatGPT。它不仅挑战了当时的技术共识，还引领了一个全新的对话生成和文本续写的潮流。ChatGPT 展现的生成连贯、流畅和相关文本的能力，彻底颠覆了业界对 Decoder-Only 架构的看法，将其从一个被边缘化的选择转变为人工智能研究的前沿。

大语言模型常见架构

大语言模型如GPT系列（包括GPT-4）通常采用不同的架构，主要有三种：Decoder-Only、Encoder-Only、以及Encoder-Decoder。每种架构都有其独特的特点和适用场景：

1. Decoder-Only 架构(GPT)

这就像一个讲故事的人。你给他一个开头，比如“有一次，一只小猫走失了”，然后他会继续这个故事，讲述下去，一直到故事结束。

Decoder-Only模型就是这样，它接收一些信息（开头），然后生成接下来的内容（故事）。

特点：擅长创造性的写作，比如写小说或自动生成文章。它更多关注于从已有的信息（开头）扩展出新的内容。

OpenAI 选择了Decder-Only方案（如GPT系列），因为它对于自然语言生成特别有效。这种架构能够更好地理解和预测语言模式，尤其适合处理开放式的、生成性的任务。

2. Encoder-Only 架构（BERT）

这就像是一个专业的书评家。他阅读和理解一本书（输入的信息），然后告诉你这本书是关于什么的，比如它的主题是爱情、冒险还是悬疑。

Encoder-Only模型就是专注于理解和分析输入的信息，而不是创造新的内容。

特点：擅长理解和分类信息，比如判断一段文本的情感倾向（积极还是消极）或者主题分类。

这种架构主要用于处理输入数据，专注于理解和编码信息，而不是生成新的文本。

Encoder-Only模型在理解和分类任务中更为有效，例如文本分类、情感分析等。

3. Encoder-Decoder 架构（如BART、T5）

这就像是翻译家。他先听你说一段话（比如英文），理解它，然后把它翻译成另一种语言（比如中文）。

Encoder-Decoder模型就是这样，先理解输入的信息（Encoder部分），然后基于这个理解生成新的、相关的内容（Decoder部分）。

特点：擅长处理需要理解输入然后生成相关输出的任务，比如翻译或问答系统。

这种模型在需要深入理解输入内容并生成相关响应的任务中表现良好，例如机器翻译、问答系统等。

从上面的介绍，我们可以看到，三种架构都有其适用场景，那为啥OpenAI选择的Decoder-Only大获成功呢？因为：

理解自然语言是通往通用人工智能（AGI）的关键路径

语言是人类智能的一个核心表现。通过有效地处理和生成自然语言，人工智能系统可以更好地理解人类的意图、情感和知识，这是通向AGI的重要一步。

想象一下，语言就像是一座桥。这座桥连接着人类的思维世界与外部世界。当人们交流时，他们实际上是在这座桥上相遇，通过语言的桥梁来分享思想、情感和知识。

现在，设想人工智能（AI）像是一位初到陌生城市的旅者。最开始，这位旅者可能只懂得一些基本的词汇和短语，类似于旅游手册里的内容。随着时间的推移，如果他开始学习当地的语言，了解当地的文化和习俗，他就能更深入地理解这座城市，甚至能够与当地人进行深层次的交流。在这个过程中，这位旅者不仅学会了如何使用语言，还学会了理解当地人的想法、情感和行为方式。

把这个比喻应用到AI上，刚开始，AI就像是只懂得基础语言的旅者。但随着它学习和理解更多的自然语言，它就能更好地理解人类的意图、情感和复杂思想。这种深入的理解能力是通往通用人工智能（AGI）的桥梁，因为它不仅帮助AI理解语言本身，还帮助它理解使用这种语言的人类社会和文化。图：语言就像是一座桥.就像一个逐渐融入新城市的旅者，AI通过学习语言，能够逐渐理解并参与人类的世界。

从语言突破，较少的计算量

OpenAI首席科学家Ilya Sutskever有句话:

“语言是人类知识的压缩”

对比视觉和声音，语言的压缩比要高很多。

Charles_yy
关注
  • 30
    点赞
  • 踩
  • 46
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
大语言模型架构设计
liguandong
05-21 1510
对大模型进行改造，比如T5的预训练目标是MLM，不是一个很好的生成模型，把目标改成PLM或FLM，继续训练，和微调不同，再次训练用的数据不是下游数据，而是额外的无监督文本数据。masked language modeling，MLM，训练bert时的完形填空，遮盖住文本中一部分token，让模型通过上下文猜测遮盖部分的token，可以像T5一样将任务改造成text2text形式，input和target都是一段文本，可以适配ND和ED，如果将input和target拼接起来，就可以适配CD。
大型语言模型（基于GPT架构）的关键组件和结构
DrD2022的博客
07-25 611
4.预训练和微调：像GPT-3这样的大型语言模型经历两个主要阶段：预训练和微调。在预训练期间，模型会接触到来自互联网的大量文本数据，并学习根据上下文预测句子中的下一个单词。值得注意的是，像 GPT-3 这样的大型语言模型是资源密集型的，需要大量的计算能力来进行训练和推理。这意味着它们缺少典型 Transformer 架构中的“编码器”部分，因为 GPT 模型主要是为自回归语言生成而设计的。6.注意力掩模：为了确保模型在自回归生成过程中不会“作弊”和窥视，注意力掩模用于防止模型在训练期间关注未来的标记。
大模型LLM架构--Decoder-Only、Encoder-Only、Encoder-Decoder
cumtchw
04-18 1250
这类结构的模型适用于需要生成序列的任务，可以从输入的编码中生成相应的序列。这类结构的代表也就是我们平时非常熟悉的GPT模型的结构，所有该家族的网络结构都是基于Decoder-Only的形式来逐步演化。既包含编码器也包含解码器，先理解输入的信息（Encoder部分），然后基于这个理解生成新的、相关的内容（Decoder部分），通常用于序列到序列（Seq2Seq）任务，如。模型在时间线上的位置表示它们的发布日期。仅包含编码器部分，主要适用于不需要生成序列的任务，只需要对输入进行编码和处理的单向任务场景，如。
2024 年 8 个顶级开源 LLM（大语言模型）
热门推荐
一览无遗
12-19 2万+
选择开源 LLM 的公司将可以访问 LLM 的工作原理，包括它们的源代码、架构、训练数据以及训练和推理机制。这种透明度是审查的第一步，也是定制的第一步。由于每个人都可以访问开源 LLM，包括它们的源代码，因此使用它们的公司可以针对其特定用例对其进行自定义。
多模态大语言模型(MLLMs)-一般架构（非常详细）零基础入门到精通，收藏这一篇就够了
Python_0011的博客
06-11 1458
多模态大语言模型(Multimodal Large Language Model ,），在LLM原有的强大泛化和推理能力基础上，进一步引入了多模态信息处理能力。相比于以往的多模态方法，例如以 CLIP 为代表的判别式，或以 OFA 为代表的生成式，新兴的 MLLM 展现出一些典型的特质，在下面这两种特质的加持下，MLLM 涌现出一些以往多模态模型所不具备的能力！模型大。MLLM 通常具有数十亿的参数量，更多的参数量带来更多的潜力；新的训练范式。
多模态大语言模型全面综述：架构，训练，数据，评估，扩展，应用，挑战，机遇
最新发布
m0_59235245的博客
06-26 1024
指令指的是任务的描述。直观地说，指令调整的目的是教会模型更好地理解用户的指令并完成所要求的任务。通过这种方式调整后，LLM能够通过遵循新的指令来泛化到未见过的任务，从而提升零样本性能。这个简单而有效的想法激发了后续NLP作品的成功，如ChatGPT[2]、InstructGPT[95]、FLAN[19]、[56]和OPT-IML[96]。图3展示了指令调整与典型学习范式的比较。监督微调方法通常需要大量的特定任务数据来训练特定任务的模型。提示方法减少了对大规模数据的依赖，并且可以通过提示工程完成专业任务。
OpenAI开发系列（二）：大语言模型发展史及Transformer架构详解
无敌小怪兽_Zz的博客
09-14 4537
大语言模型发展史及Transformer架构详解
【Decoder-Only、Encoder-Only和Encoder-Decoder大模型架构区别、优缺点以及使用其架构的模型示例】
恬静释然的博客
03-14 3859
Encoder-Only架构专注于理解和编码输入信息，常用于分类、标注等任务。Decoder-Only架构专注于从一系列输入生成或预测输出。这种架构通常用于文本生成任务，如语言模型。Encoder-Decoder架构结合了编码器和解码器的优点，通常用于需要理解输入并生成相应输出的任务，如机器翻译。
[ai笔记13] 大模型架构对比盘点：Encoder-Only、Decoder-Only、Encoder-Decoder
文思源想的技术空间
02-25 6029
最近看完《这就是chatgpt》对于大语言模型的三种架构演进图印象颇深，今日就专题盘点一下三种大模型架构理论，同时做一个简单对比。
Transformer Encoder-Decoer 结构回顾
weixin_43301333的博客
12-02 6266
本文基于对的理解，再重新回顾一下有关于auto-encoder、auto-regressive等常见概念，以及Transformer-based model的结构。
模型并行 | 大规模语言模型架构 Megatron
weixin_66945478的博客
08-16 6564
Megatron是NVIDIA提出的一种由于分布式训练大规模语言模型的架构，针对Transformer进行了专门的优化（也就是大矩阵乘法）。，主要提出了通过将矩阵分块提高并行度的方法。，对于分布式中的一些重要的设计，如tensor parallel、pipeline parallel、micro batch size等进行了一些分析与讨论。同时提出了更加精细的pipeline结构与communication模式。
jpeg.rar_encoder_jpeg_jpeg c-free_jpeg decoder_jpeg encoder c
09-20
标题中的“jpeg.rar_encoder_jpeg_jpeg_c-free_jpeg_decoder_jpeg_encoder_c”提到了JPEG图像编码和解码的关键技术，以及与之相关的工具或库。这个压缩包可能包含了一个JPEG编码器和解码器的源代码，以及可能用于...
mpeg.zip_MPEG_MPEG-1_mp3 decoder_mpeg-4_mpeg2 encoder
09-20
MPEG-1编码器主要包含三个部分：离散余弦变换（DCT）、量化和熵编码。DCT用于将时域信号转换为频域信号，减少冗余；量化则是根据人眼对图像细节敏感度的不同进行数据压缩；熵编码则通过更高效的编码方式进一步压缩...
decoder-and-encoder.rar_Different
09-14
在给定的“decoder-and-encoder.rar_Different”压缩包中，包含了一系列Verilog代码，这些代码主要用于实现数字逻辑设计中的解码器（decoder）、编码器（encoder）和其他相关模块。下面将对这些模块逐一进行详细阐述...
EncoderDecoder-SourceCode.ZIP_1553B_MIL 1553_decoder_encoder_mil
07-13
MIL-STD1553是一种用于航空电子系统的低速串行总线。参考设计实现了曼彻斯特II的1553所要求的编码和解码以及同步模式的插入和识别，数据序列化和反序列化以及奇偶校验和插入函数。
sam-vit-b-encoder.onnx
03-11
sam_vit_b_encoder.onnx 博客地址：https://blog.csdn.net/weixin_46771779/article/details/136455370
自然语言处理: 第七章GPT的搭建
victor_manches的博客
08-09 2535
大模型的使用方法如下: 分解成pre-train 和fine-tuning ，其中pre-train是收集大量的高质量的文本(或者其他多模态的输入)去让模型拥有文本理解的泛化能力，而fine-tuing则是对应各自的下游任务将pre-train好的model在下游任务中作微调，从而适应不同的任务头。因此，GPT的生成式预训练如,内容如下: 输入是上文，输出是下文，并且是单向的decoder结构，所以相比于传统的transformer结构，GPT结构更加的轻量了。
一文读懂“大语言模型”
明明如月的技术博客
05-22 1万+
深度学习是机器学习的分支，大语言模型是深度学习的分支。机器学习是人工智能（AI）的一个子领域，它的核心是让计算机系统能够通过对数据的学习来提高性能。在机器学习中，我们不是直接编程告诉计算机如何完成任务，而是提供大量的数据，让机器通过数据找出隐藏的模式或规律，然后用这些规律来预测新的、未知的数据。深度学习是机器学习的一个子领域，它尝试模拟人脑的工作方式，创建所谓的人工神经网络来处理数据。这些神经网络包含多个处理层，因此被称为“深度”学习。
ResNet-based Convolutional Decoder-Encoder
03-29
A ResNet-based Convolutional Decoder-Encoder is a type of neural network architecture that combines the principles of Residual Networks (ResNets) and Decoder-Encoder networks. ResNets are deep neural networks that use skip connections to avoid the vanishing gradient problem and allow for the training of very deep networks. Decoder-Encoder networks, on the other hand, are used for tasks such as image segmentation, object detection, and image generation. The ResNet-based Convolutional Decoder-Encoder architecture consists of a series of encoder layers that downsample the input image and a series of decoder layers that upsample the encoded features to generate the output image. The encoder layers typically consist of Convolutional Layers followed by Batch Normalization and ReLU activation. The decoder layers consist of transposed convolutional layers, also known as deconvolutional layers, followed by Batch Normalization and ReLU activation. The skip connections in the ResNet-based Convolutional Decoder-Encoder architecture allow for the direct transfer of information from the encoder to the decoder layers, which helps to preserve important features and reduce the effects of information loss during the downsampling process. The resulting network can be trained end-to-end using backpropagation to minimize a loss function that measures the difference between the predicted and ground truth images. ResNet-based Convolutional Decoder-Encoder networks have been used successfully for a variety of image reconstruction and generation tasks, including image denoising, super-resolution, and inpainting.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值