比较Causal decoder、Prefix decoder和encoder-decoder

已于 2023-11-14 21:44:21 修改
阅读量9.7k 收藏 31
点赞数 12
分类专栏： 自然语言处理 深度学习 # LLM大模型 文章标签： LLM 自然语言处理 大模型
于 2023-05-17 20:20:39 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/130734021
版权

note：不同的语言模型通过attention mask设计，mask取全1就对应双向注意力，mask取下三角矩阵就对应单向注意力，我们可以只使用transformer encoder的情况下，自定义attention mask来兼容不同模型架构（如auto agressive单向注意力、auto encoding 双向注意力、encoder-decoder 解码器用单向注意力 且用交叉注意力连接两者）：
在这里插入图片描述

如下图：
蓝色：the attention between prefix tokens
绿色：the attention between prefix and target tokens
黄色：the attention betweetn target tokens and masked attention
请添加图片描述

  • 因果解码器（causal decoder，当前主流）：因果解码器架构采用单向注意力掩码，以确保每个输入标记只能关注过去的标记和它本身。输入和输出标记通过解码器以相同的方式进行处理。
    • chatGPT等
    • 因果解码器：GPT,BLOOM，Gopher等。
  • 前缀解码器(prefix decoder)：前缀解码器结构修正了因果编码器的掩码机制，以使其能可对前缀标记执行双向注意力，并仅对生成的标记执行单向注意力。这样，与encoder-decoder类似，可以双向编码前缀序列并自回归低逐个预测输出标记，其中在编码和解码阶段共享相同的参数。现在前缀编码器的大模型包括U-PaLM、GLM-130B等。
  • 编码器-解码器（encoder-decoder）：传统 Transformer 模型是建立在编码器-解码器架构上的 ，由两个 Transformer 块分别作为编码器和解码器。编码器采用堆叠的多头自注意层对输入序列进行编码以生成其潜在表示，而解码器对这些表示进行交叉注意并自回归地生成目标序列。目前，只有少数大语言模型是基于编码器-解码器架构构建的例如 Flan-T5。

Reference

[1] 为什么现在的LLM都是Decoder only的架构.某乎

LLM主流框架：Causal Decoder、Prefix Decoder和Encoder-Decoder
TFATS的博客
01-12 7563
前缀语言模型可以根据给定的前缀生成后续的文本，而因果语言模型只能根据之前的文本生成后续的文本。在模型架构代表LLM注意力机制是否属于Decoder-Only纯单向YESFlan-T5输入双向NO输入双向，输出单向YES。
Prefix LM 和 Causal LM 区别是什么？
weixin_63866037的博客
01-10 875
Causal LM是严格单向的，只能利用前面的词，适合纯生成任务（如 GPT）。Prefix LM允许前缀部分双向编码，适合需要结合上下文的任务（如 T5、BART）。虽然两者都基于前面的内容预测后续内容，但Prefix LM对前缀的处理更灵活，能够利用更多的上下文信息。希望这篇博客能帮助你更好地理解Prefix LM和Causal LM的区别！如果还有疑问，欢迎继续讨论！
Prefix Decoder /Causal Decoder/Encoder-Decoder的区别
mingchen_peng的博客
12-15 562
定义：Prefix Decoder，也称为非因果解码器，属于Decoder only结构。输入部分使用双向注意力，输出部分使用单向注意力。在生成新的输出时，会考虑到所有之前生成的输出。特点：Prefix Decoder在处理输入序列时，模型可以同时考虑序列中的所有词。生成输出时会考虑整个输入序列，而不仅仅是之前的输出。这使得它在处理需要全局上下文的任务时表现更好。训练阶段，通常使用自回归方式进行训练，即在生成当前词时，使用之前生成的所有词。
大模型里prefix-decoder、casual-decoder、encoder-decoder区别
锴笑口常开的博客
04-28 2069
Prefix Decoder在训练时可能更关注于从输入到输出的映射，因此损失函数。
Casual decoder 和prefix decoder 区别
一休
07-09 731
而在输出部分，Prefix Decoder则采用单向注意力，即待生成的token可以看到Encoder侧所有token（包括上下文）和Decoder侧已经生成的token，但不能看未来尚未产生的token。这种模型架构允许模型在生成文本时同时考虑前缀信息和单向生成的特性，适用于需要同时理解上下文和生成文本的任务，如条件文本生成12。Causal Decoder是一种自回归模型，它在生成文本时只能依赖于已经生成的输出，即每个token的生成只能依赖于它之前的token，而不能利用未来的token信息。
LLM 中的 Causal Decoder、Prefix Decoder 和 Encoder-Decoder
m0_38031488的博客
01-07 804
在 Transformer 模型中，mask 机制是一种用于在 self-attention 中的技术，用以控制不同 token 之间的注意力交互。Mask 机制经常被用于NLP任务中，按照作用总体来说可以分成两类。
A Gated Dilated Causal Convolution Based Encoder-Decoder for Network Traffic Forecasting
学习使我快乐
09-20 889
A Gated Dilated Causal Convolution Based Encoder-Decoder for Network Traffic Forecasting DOI：10.1109/ACCESS.2019.2963449 使用sci-hub输入DOI 摘要：对未来网络流量的准确估计是网络退化预警和网络资源自动编排的关键手段。长短期记忆神经网络LSTM是一种流行的网络流量预测体系结构，在许多应用中得到了成功的应用。然而，已经观察到当序列较长时，LSTM会出现记忆容量有限问题。本文提出了一种
大模型算法岗面试题系列（三）| prefix LM 和 causal LM、encoder-decoder 区别及各自有什么优缺点?
Code1994的博客
07-29 1098
Prefix LM 适合于需要利用完整上下文信息进行文本生成的任务，但可能在计算上更为复杂。Causal LM 适合于生成长文本序列，模型简单，但在利用上下文信息方面可能受限。Encoder-Decoder模型 提供了处理复杂序列转换的灵活性，但可能需要更多的计算资源和训练成本。在选择模型时，需要根据具体的任务需求、数据特性以及计算资源来决定使用哪种模型架构。
NLP高频面试题（六）——decoder-only、encoder-only和encoder-decoder的区别与联系
WeLearnNLP
03-19 514
随着人工智能技术的迅猛发展，语言模型已经成为自然语言处理领域的关键技术之一。本文将深入探讨decoder-only、encoder-only 和 encoder-decoder 三种语言模型架构的特点、适用场景及其相互之间的异同。
Encoder-only，Encoder-Decoder，和 Decoder-only 模型
祖国翔的博客
03-27 589
虽然Transformer 论文Attention Is All You Need 为了翻译任务使用了transformer的编码器和解码器部分，但你可以将这些组件拆分开来进行架构的变化。仅有编码器的模型也可以作为序列到序列模型，编码器-解码器模型，仅有解码器的模型（如今是最常用的之一）。
大模型面经 | Prefix Decoder，Causal Decoder和Encoder-Decoder的区别是什么?
最新发布
皮先生的博客
04-11 673
大模型面经 | Prefix Decoder，Causal Decoder和Encoder-Decoder的区别是什么?
语言大模型知识点简介
csuzhaoqinghui的博客
01-18 2625
大模型
大语言模型(LLMs)综述调研
qq_44579371的博客
08-24 1070
架构选择使用LM目标进行预训练时，casual decoder架构可以实现出色的零样本和少样本泛化能力，并表现出优于其他架构的零样本性能。此外，指令调整和对齐调整已经被证明可以进一步增强大型casual decoder模型的能力。根据scaling law，选择更大模型与更大的数据集能获得更好的表现能力LLMs支持长文本上下文建模，主要原因可归结于以下两点: LLM编码较长文本的能力。一些位置嵌入方法（如RoPE、T5 bias）已经被验证具有一定的Extrapolation capability。
【LLM】大语言模型的前世今生
weixin_49816179的博客
12-14 1111
一文梳理了几个主流LLM的发展及演化。
高效又稳定的ChatGPT大模型训练技巧总结，让训练事半功倍！
夕小瑶科技说
04-17 8851
文｜python前言近期，ChatGPT成为了全网热议的话题。ChatGPT是一种基于大规模语言模型技术（LLM， large language model）实现的人机对话工具。现在主流的大规模语言模型都采用Transformer网络，通过极大规模的数据进行自监督训练。但是，如何构建自监督训练数据？在基础的Transformer结构上，大家又做了哪些创新呢？为了保证训练过程高效且稳定，又有哪些黑科...
大模型技术发展概述 -（二）
weixin_42010722的博客
07-12 991
4. LLM预训练4.1 数据收集4.1.1 数据源4.1.2 数据预处理4.1.3 预训练数据对LLMs的影响4.2 常用的LLM架构4.2.1 主流架构4.2.2 详细配置4.2.3 预训练任务4.3 模型训练4.3.1 优化设置4.3.2 可扩展训练技术。
【大模型系列篇】大语言模型架构分类和对比
木亦汐丫
08-30 1694
在预训练语言模型时代，自然语言处理领域广泛采用了预训练(Pre-training) + 微调(SFT)的范式， 并诞生了以 BERT 为代表的编码器（Encoder-only）架构、以 GPT 为代表的解码器（Decoder-only）架构和以 T5 为代表的编码器-解码器（Encoder-decoder）架构的大规模预训练语言模型。值得注意的是，学术界所提到解码器架构时，通常指的都是因果解码器架构。与编码器-解码器不同的是，前缀解码器在编码和解码过程中是共享参数的，并没有划分为独立的解码器和编码器。
LLaMA, ChatGLM, BLOOM的参数高效微调实践
丨汀、的博客
06-12 4528
大语言模型的训练分为两个阶段：（1）在海量文本语料上的无监督预训练，学习通用的语义表示和世界知识。（2）在小规模数据上，进行指令微调和基于人类反馈的强化学习，更好地对齐最终任务和人类偏好。LIMA[1] 证明了，只需要有限的指令微调数据就可以生成高质量的回复。因此，基座模型的性能是至关重要的，如果基座模型的性能不够好，指令微调和强化学习也难以取得很好的效果。目前，主流的开源大语言模型主要有三个：LLaMA、ChatGLM 和 BLOOM。
LLM 系列之 Transformer 组件总结
m0_37531129的博客
10-10 882
LLM 学习记录
encoder-only和decoder-only 图解
03-31
### Transformer 中 Encoder-Only 和 Decoder-Only 架构的工作机制比较 #### 1. **Encoder-Only 架构** Transformer 的原始设计中包含了 Encoder 和 Decoder 部分，其中 Encoder 负责编码输入序列的信息。在某些应用场景下（如 BERT），仅使用 Encoder 部分来构建模型。 - **工作机制** Encoder 是一种多层堆叠的结构，每一层由 Self-Attention 子层和前馈神经网络 (Feed Forward Network) 组成[^2]。通过多次叠加这些子层，模型能够捕捉到输入序列中的复杂模式。 - 输入经过嵌入层 (Embedding Layer)，将 token 映射为向量表示。 - 使用位置编码 (Positional Encoding) 来引入顺序信息，因为纯注意力机制无法感知序列的位置关系。 - 多头自注意力机制允许模型关注不同位置上的上下文信息。 - 前馈神经网络进一步处理特征提取后的数据。 - **特点** - 主要用于理解任务，例如分类、命名实体识别等。 - 并行化程度高，在训练过程中可以一次性处理整个输入序列[^3]。 ```python class EncoderLayer(nn.Module): def __init__(self, d_model, num_heads, d_ff, dropout=0.1): super(EncoderLayer, self).__init__() self.self_attention = MultiHeadAttention(d_model, num_heads) self.feed_forward = PositionWiseFeedForward(d_model, d_ff) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout = nn.Dropout(dropout) def forward(self, x, mask=None): attn_output = self.self_attention(x, x, x, mask) out1 = self.norm1(x + self.dropout(attn_output)) ff_output = self.feed_forward(out1) output = self.norm2(out1 + self.dropout(ff_output)) return output ``` --- #### 2. **Decoder-Only 架构** Decoder-Only 结构去除了传统的 Encoder 部分，专注于生成任务。这种架构特别适合于自回归生成场景，例如 GPT 系列模型。 - **工作机制** 解码器同样是一个多层堆叠的结构，每层包含三个主要组件：Self-Attention 层、交叉注意力层以及前馈神经网络[^4]。然而，在 Decoder-Only 模型中，交叉注意力被移除，只剩下 Self-Attention 和 FFN。 - 输入通常是从左至右逐步生成的目标序列的一部分。 - Masked Self-Attention 确保当前时刻的预测不会看到未来的时间步信息。 - 输出的概率分布基于 Softmax 计算得出。 - **特点** - 更加注重生成能力，适用于文本生成、对话系统等领域。 - 利用了因果掩码 (Causal Masking)，使得模型能够在不泄露未来信息的情况下完成逐词生成[^1]。 ```python class DecoderLayer(nn.Module): def __init__(self, d_model, num_heads, d_ff, dropout=0.1): super(DecoderLayer, self).__init__() self.masked_self_attention = MultiHeadAttention(d_model, num_heads) self.ffn = PositionWiseFeedForward(d_model, d_ff) self.norm1 = nn.LayerNorm(d_model) self.norm2 = nn.LayerNorm(d_model) self.dropout = nn.Dropout(dropout) def forward(self, x, mask=None): masked_attn_output = self.masked_self_attention(x, x, x, mask) out1 = self.norm1(x + self.dropout(masked_attn_output)) ffn_output = self.ffn(out1) output = self.norm2(out1 + self.dropout(ffn_output)) return output ``` --- #### 3. **图解对比** | 特性 | Encoder-Only | Decoder-Only | |---------------------|---------------------------------------|--------------------------------------| | **核心功能** | 序列理解 | 文本生成 | | **组成模块** | Self-Attention + FFN | Masked Self-Attention + FFN | | **并行化支持** | 完全支持 | 受限于自回归特性 | | **典型应用** | 分类、NER | 对话系统、文章摘要 | ![Encoder-Only vs Decoder-Only](https://example.com/transformer_architecture_comparison.png) > 注：上述链接仅为示意，请替换为实际可用资源或自行绘制图表。 --- #### 4. **总结** Encoder-Only 和 Decoder-Only 各有侧重，前者擅长理解和分析静态输入，后者则更适配动态生成任务。两者的设计理念均源于经典的 Encoder-Decoder 框架，但在具体实现上进行了针对性优化以满足特定需求。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值