为什么现在的LLM都是Decoder only的架构

最新推荐文章于 2024-07-06 23:45:11 发布
最新推荐文章于 2024-07-06 23:45:11 发布
阅读量793 收藏 3
点赞数
分类专栏： LLM 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/130745382
版权
当前大型语言模型（LLM）普遍采用Decoder-only架构，原因包括训练效率、工程实现的优势，以及理论上的考虑。Encoder的双向注意力可能引发低秩问题，降低模型表达能力，对于生成任务并不必要。Encoder-Decoder架构的优势可能仅在于参数数量翻倍。因此，Decoder-only架构在同等参数量和推理成本下成为更优选择。
摘要由CSDN通过智能技术生成

结论：

LLM之所以主要都用Decoder-only架构，除了训练效率和工程实现上的优势外，在理论上是因为Encoder的双向注意力会存在低秩问题，这可能会削弱模型表达能力，就生成任务而言，引入双向注意力并无实质好处。而Encoder-Decoder架构之所以能够在某些场景下表现更好，大概只是因为它多了一倍参数。所以，在同等参数量、同等推理成本下，Decoder-only架构就是最优选择了。

为什么现在的LLM都是Decoder-only的架构？ - 科学空间|Scientific Spaces

为什么现在的LLM都是Decoder only的架构？ - 知乎 

u013250861
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
LLM - 理解 主流大模型 LLM 都使用 Decoder Only 架构的原因 (总结8点)
Mystra
08-05 232
Decoder Only 模式泛化性更好的理论原因包括：训练难度更大、具有隐式的位置编码能力、上下文学习支持 Few-Shot、注意力矩阵是满秩的、参数更少推理更快、KV-Cache、支持 Pipeline Parallel、实验支持。LLM 主流都会使用 Decoder Only 架构，而 Encoder-Decoder、PrefixLM 等混合训练方式，相对较小模型更加合适。
大模型面试题 - 你知道为什么当前大模型/生成式语言模型大多都是decoder only的吗？ transformer中的encoder和decoder有什么区别，请详细说明
人工智能曾小健
04-06 1224
你知道为什么当前大模型/生成式语言模型大多都是decoder only的吗？transformer中的encoder和decoder有什么区别，请详细说明Poe当前大模型和生成式语言模型大多采用decoder-only结构,主要有以下几个原因:生成任务的特点:语言模型的主要任务是根据前文生成下一个词或句子。这实际上是一个序列生成问题,而不是序列到序列的转换问题。Decoder天然适合处理这种自回归的生成任务。参数效率:如果使用encoder-decoder结构,需要。
datawhale 大模型学习 第五章-模型训练
fan_fan_feng的专栏
01-23 1345
自回归语言模型预测是一个条件分布：即根据1，2,。Decoder-only模型，它会产生（单向）上下文嵌入，更适合文本生成任务。：例如，GPT-3，单向上下文嵌入，在生成文本时一次生成一个token。Encoder-only模型，他是双向上下文嵌入，更适合分类任务。最后，通过微调，BART在分类和生成任务上都展示了强大的效果。例如，T5,利用双向上下文编码，利用单向上下文生成文本。)是基于Transformer的编码器-解码器模型。训练的时候用F16,跟新模型参数的时候用F32。
为何现在的大模型大部分是Decoder only结构
dc爱傲雪和技术
07-06 1522
适用于需要深度理解和表征输入的任务。：适用于生成任务，因其高效的训练和推理能力以及对生成序列的适应性。：适用于需要复杂输入输出转换的任务，尽管其在参数量和计算需求上更高，但在特定任务上能够发挥出色的性能。理解这些架构的优缺点和适用场景，可以更好地应用和开发NLP模型，满足实际需求。为什么现在的LLM都是Decoder only的架构？_为什么decoder-only的模型这么火-CSDN博客。
为什么现在的大语言模型（LLM）都是Decoder-only的架构？
Paper weekly
03-17 2133
©PaperWeekly 原创 ·作者 |苏剑林单位 |追一科技研究方向 |NLP、神经网络LLM 是“Large Language Model”的简写，目前一般指百亿参数以上的语言模型，主要面向文本生成任务。跟小尺度模型（10 亿或以内量级）的“百花齐放”不同，目前 LLM 的一个现状是 Decoder-only 架构的研究居多，像 OpenAI 一直坚持 Decoder-only 的 ...
为什么现在的LLM都是Decoder only的架构？
TFATS的博客
09-21 3909
总而言之，decoder-only 在参数量不太大时就更具有更强的zero-shot性能、更匹配主流的自监督训练范式；而在大参数量的加持下，具有了涌现能力后、可以匹敌encoder-decoder做finetuning的效果；在In Context的环境下、又能更好地做few-shot任务。decoder-only 架构符合传统的 Language Model 的模式。
为什么现在的LLM都是Decoder-only的架构？
人工智能曾小健
07-12 148
跟小尺度模型（10亿或以内量级）的“百花齐放”不同，目前LLM的一个现状是Decoder-only架构的研究居多，像OpenAI一直坚持Decoder-only的GPT系列就不说了，即便是Google这样的并非全部押注在Decoder-only的公司，也确实投入了不少的精力去研究Decoder-only的模型，如PaLM就是其中之一。需要指出的是，笔者目前训练过的模型，最大也就是10亿级别的，所以从LLM的一般概念来看是没资格回答这个问题的，下面的内容只是笔者根据一些研究经验，从偏理论的角度强行回答一波。
为什么现在的LLM都是decoder-only架构？
m0_73615873的博客
01-29 1737
为什么现在的LLM都是decoder-only架构？
LLM原理与ChatPDF实现.pdf
09-28
LLM原理与ChatPDF实现.pdf 本文档涵盖了LLM（Large Language Model）原理和ChatPDF实现的相关知识点。 大模型原理 大模型原理是指使用 Transformer 编码器来处理自然语言处理（NLP）任务的模型。这些模型包括 ...
LLM+赋能研发效能提升
09-07
总结来看，LLM的应用为研发效能提升提供了新的可能性，但同时也带来了新的挑战。我们需要适应LLM带来的变化，学习如何有效地利用这些工具，同时保持对软件工程基本原则的理解和实践，如领域模型设计、人才培养和代码...
LLM应用构建前的非结构化数据处理（一）
最新发布
07-09
LLM应用构建前的非结构化数据处理（一）
LLM大模型测试训练语料数据
03-15
目前支持两种格式的数据集：alpaca 和 sharegpt 在所有类型的数据集中，预训练语料库的规模通常是最大的。在预训练阶段，LLM 从大量未标记的文本数据中学习广泛的知识...目标是为NLP任务提供通用的语言知识和数据资源。
毕业设计 基于Python+Django+Sqlite3+LLM的医疗文本数据结构化在线平台源码+详细说明+全部数据资料高分项目
05-08
毕业设计 基于Python+Django+Sqlite3+LLM开发的医疗文本数据结构化在线平台源码+详细说明+全部数据资料 高分项目毕业设计 基于Python+Django+Sqlite3+LLM开发的医疗文本数据结构化在线平台源码+详细说明+全部数据...
LLM都是Decoder only的架构原因解读
u013250861的博客
07-11 854
总言之，decoder-only在参数量不太大时就更具有更强的zero-shot性能；而在大参数量的加持下，具有了泛化能力后、可以匹敌Decoder-only架构 finetuning的效果；在In Context的环境下、又能更好地做few-shot任务。，而encoder-decoder则需要在一定量的标注数据上做multitask finetuning才能激发最佳性能。论文最主要的一个结论是decoder-only模型。曾经在5B的参数量级下对比了两者性能。
Decoder-only架构
diannao720的博客
08-08 2791
Decoder-only架构被广泛应用于各种NLP任务，其中最著名的是OpenAI的GPT系列模型（如GPT、GPT-2和GPT-3）。在预训练之后，模型可以进行有监督微调，用于特定的下游任务（如机器翻译、文本生成等）。在传统的编码器-解码器架构中，编码器负责将输入序列（如文本）编码成一个稠密的表示，然后解码器根据这个表示生成输出序列（如翻译的文本）。总之，Decoder-only架构是一种通过解码器生成输出序列的神经网络模型架构，它具备强大的语言生成和理解能力，在自然语言处理领域有广泛的应用。
Transformer-decoder-only model：GPT-2（1）
DecafTea的博客
01-15 5565
Transformer Encoder 原始 transformer 论文中的编码器模块可以接受长度不超过最大序列长度（如 512 个单词）的输入。如果序列长度小于该限制，我们就在其后填入预先定义的空白单词（如上图中的）。 Decoder 解码器在自注意力（self-attention）层上还有一个关键的差异：它将后面的单词掩盖掉了。但并不像 BERT 一样将它们替换成特殊定义的单词，而是在自注意力计算的时候屏蔽了来自当前计算位置右边所有单词的信息。只能看到已生成的单词。 举个例子，如果我们重点
decode 的用法
cnracht8153的博客
04-07 274
今天在论坛上见到有这方面的需求，可以采用decode 和case when来进行解决http://www.itpub.net/showthread.php?=&postid=2647596#post2647596crea...
[ai笔记13] 大模型架构对比盘点：Encoder-Only、Decoder-Only、Encoder-Decoder
文思源想的技术空间
02-25 7738
最近看完《这就是chatgpt》对于大语言模型的三种架构演进图印象颇深，今日就专题盘点一下三种大模型架构理论，同时做一个简单对比。
LLM(5) | Encoder 和 Decoder 架构
baiyu33的博客
02-03 2291
简而言之，encoder-style 的模型在用于分类任务的嵌入学习中很受欢迎， encoder-decoder-style 的模型被用于输出严重依赖于输入的生成性任务（例如，翻译和摘要），而 decoder-only 模型被用于包括问答在内的其他类型的生成性任务。基本上， endoder- 和 decoder- 风格的架构， 都使用相同的 self-attention 层来编码单词标记 (word tokens). 然而， 主要区别在于 encoder 的设计，是为了学习可以用于各种预测建模任务的嵌入。
什么是LLM的大海捞针
06-27
"大海捞针"这个比喻通常用来形容在一个庞大的信息库中寻找非常特定或难以找到的信息，就像在大海里寻找一根针一样困难。在LLM（Large Language Models）的背景下，由于它们拥有海量的数据训练，确实有能力处理和搜索极其复杂的问题。用户可能使用LLM来解答复杂的问题，就像是在大海捞针，只需提供适当的提示或问题，模型就会尝试从其内部的知识库中找到相关的答案。然而，尽管能力强大，但精确性和效率也可能受到数据质量和搜索算法的影响。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值