为什么现在的LLM都是Decoder-only的架构？

最新推荐文章于 2024-08-14 22:29:49 发布
最新推荐文章于 2024-08-14 22:29:49 发布
阅读量164 收藏
点赞数 1
分类专栏： 大模型相关 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43502713/article/details/140923744
版权

参考1
decoder only:
1、低秩问题，可能会削弱模型表达能力。
2、打破了位置不变性 -kv cache节省速度
3、flash attention 优化了框架结构、Scaling Law的支持。

而Encoder-Decoder架构之所以能够在某些场景下表现更好，大概只是因为它多了一倍参数。所以，在同等参数量、同等推理成本下，Decoder-only架构就是最优选择了。
参考2
请添加图片描述

__0077
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
为什么现在的LLM都是Decoder only的架构
u013250861的博客
05-18 792
会存在低秩问题，这可能会削弱模型表达能力，就生成任务而言，引入双向注意力并无实质好处。而Encoder-Decoder架构之所以能够在某些场景下表现更好，大概只是因为它多了一倍参数。所以，在同等参数量、同等推理成本下，Decoder-only架构就是最优选择了。LLM之所以主要都用Decoder-only架构，除了训练效率和工程实现上的优势外，在理论上是因为Encoder的。
LLM都是Decoder only的架构原因解读
u013250861的博客
07-11 854
总言之，decoder-only在参数量不太大时就更具有更强的zero-shot性能；而在大参数量的加持下，具有了泛化能力后、可以匹敌Decoder-only架构 finetuning的效果；在In Context的环境下、又能更好地做few-shot任务。，而encoder-decoder则需要在一定量的标注数据上做multitask finetuning才能激发最佳性能。论文最主要的一个结论是decoder-only模型。曾经在5B的参数量级下对比了两者性能。
为什么现在的LLM都是decoder-only架构？
m0_73615873的博客
01-29 1736
为什么现在的LLM都是decoder-only架构？
为什么现在的LLM都是Decoder only的架构？
TFATS的博客
09-21 3894
总而言之，decoder-only 在参数量不太大时就更具有更强的zero-shot性能、更匹配主流的自监督训练范式；而在大参数量的加持下，具有了涌现能力后、可以匹敌encoder-decoder做finetuning的效果；在In Context的环境下、又能更好地做few-shot任务。decoder-only 架构符合传统的 Language Model 的模式。
为什么LLM都用的Decoder only结构？
2301_79093491的博客
01-13 676
现在的LLM的模型，都用的是 decoder的 架构，没有用encoder的，之前的google开发出了bert，后续出的T5的模型，都是很经典的模型，在NLU上的效果都很好，为什么现在的LLM都不用encoder结构了呢？
大模型LLM架构--Decoder-Only、Encoder-Only、Encoder-Decoder
cumtchw
04-18 1478
这类结构的模型适用于需要生成序列的任务，可以从输入的编码中生成相应的序列。这类结构的代表也就是我们平时非常熟悉的GPT模型的结构，所有该家族的网络结构都是基于Decoder-Only的形式来逐步演化。既包含编码器也包含解码器，先理解输入的信息（Encoder部分），然后基于这个理解生成新的、相关的内容（Decoder部分），通常用于序列到序列（Seq2Seq）任务，如。模型在时间线上的位置表示它们的发布日期。仅包含编码器部分，主要适用于不需要生成序列的任务，只需要对输入进行编码和处理的单向任务场景，如。
为什么现在的大语言模型（LLM）都是Decoder-only的架构？
Paper weekly
03-17 2132
©PaperWeekly 原创 ·作者 |苏剑林单位 |追一科技研究方向 |NLP、神经网络LLM 是“Large Language Model”的简写，目前一般指百亿参数以上的语言模型，主要面向文本生成任务。跟小尺度模型（10 亿或以内量级）的“百花齐放”不同，目前 LLM 的一个现状是 Decoder-only 架构的研究居多，像 OpenAI 一直坚持 Decoder-only 的 ...
Why decoder-only? LLM架构的演化之路
2401_82452722的博客
07-30 1151
因为如果看回表1，可以看见，如果GPT-3和T5这种模型比较，其实存在两个变量，一个是输入部分的注意力改为双向，另一个是由于输入输出的注意力不共享造成的参数翻倍。首先，像之前提到的，BERT这种encoder-only，因为它用masked language modeling预训练，不擅长做生成任务，做NLU一般也需要有监督的下游数据微调，所以它很自然出局，接下来主要讨论的是剩下的encoder-decoder和Prefix-LM为什么即使也能兼顾理解和生成，泛化性能也不错，却没有被大部分大模型工作采用。
【大模型LLM面试合集】大语言模型基础_LLM为什么Decoder only架构
chen695969的博客
07-07 922
LLM 是 “Large Language Model” 的简写，目前一般指百亿参数以上的语言模型， 主要面向文本生成任务。跟小尺度模型（10亿或以内量级）的“百花齐放”不同，目前LLM的一个现状是Decoder-only架构的研究居多，像OpenAI一直坚持Decoder-only的GPT系列就不说了，即便是Google这样的并非全部押注在Decoder-only的公司，也确实投入了不少的精力去研究Decoder-only的模型，如PaLM就是其中之一。
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
06-05
算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip 算法部署-使用TensorRT-LLM部署大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip算法部署-使用TensorRT-...
tensorrt-llm-0.8.0-cp310-cp310-win-amd64.whl
03-08
TensorRT是由NVIDIA推出的一个高性能的深度学习推理（Inference）优化器和运行时引擎，它可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT是一个C++库，提供C++ API和Python API，主要用于NVIDIA GPU...
大模型部署-使用Triton+TensorRT-LLM部署ChatGLM3-6B大模型-附项目源码+流程教程-优质项目实战
07-07
大模型部署_使用Triton+TensorRT-LLM部署ChatGLM3-6B大模型_附项目源码+流程教程_优质项目实战
Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena阅读笔记
06-09
### LLM-as-a-Judge与MT-Bench及Chatbot Arena的研究概述 #### 一、引言 随着大型语言模型（Large Language Model, LLM）的迅速发展，基于LLM的聊天助手（即“聊天机器人”）正在以前所未有的速度涌现。这些聊天...
MiniCPM-2B:端侧LLM优于Llama2-13B
02-06
《MiniCPM-2B：端侧LLM的优越性超越Llama2-13B》 在现代人工智能领域，预训练语言模型（LLMs，Language Models）扮演着至关重要的角色。它们通过学习大规模文本数据的统计规律，能够理解和生成自然语言，广泛应用于...
C/C++开发，opencv内置背景减除算法与运动检测
最新发布
技术需要分享
08-14 603
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
Spark MLlib 特征工程(上)
08-14 1451
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 452
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
一键生成民谣的AI音乐工具来了！
Nonsense_man的博客
08-12 169
今天分享一个可以在线免费生成音乐的AI工具。 工具使用的是「豆包」 很多人可能用过豆包写作，或者作图，但最近上线了AI音乐生成功能。
LLM的训练数据主要有哪些？数据格式是什么样的？
07-17
LLM（Language Model for Legal Text）的训练数据主要包括法律文本和相关的语料库。下面是一些常见的LLM训练数据来源： 1. 法律文书和案例法：包括法院判决、法律条文、法律评论等。这些文本提供了实际的法律应用场景和判例，可以用于训练模型理解和解释法律问题。 2. 法律条款和法规：包括宪法、刑法、民法、商法等各个领域的法律规定。这些文本提供了法律的基本原则和规范，可以用于训练模型学习法律知识和解答相关问题。 3. 法学论文和学术研究：包括法学期刊、学术论文等。这些文本提供了深入的法学理论和研究成果，可以用于训练模型理解复杂的法律问题和解决方法。 4. 法律书籍和教材：包括法学教材、法律辞典等。这些文本提供了系统的法律知识和概念，可以用于训练模型掌握法律基础知识。 LLM的训练数据通常以文本格式存在，可以是纯文本文件或结构化的数据文件。数据格式可以是普通的文本文件，也可以是特定的标记语言（如XML或JSON），以便更好地表示文本的结构和关系。每个训练样本通常包含一段法律文本和与之相关的标签或注释。这些标签可以是法律条款、法规编号、案件分类等，用于帮助模型理解和处理法律问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值