【AI知识点】三种不同架构的大语言模型（LLMs）的区别

已于 2024-10-15 09:41:15 修改
阅读量1.7k 收藏 12
点赞数 13
分类专栏： AI知识点 文章标签： 人工智能 语言模型 自然语言处理 机器学习 深度学习 注意力机制 自注意力机制
于 2024-10-14 11:23:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43221845/article/details/142913152
版权

【AI论文解读】【AI知识点】【AI小项目】【AI战略思考】

在自然语言处理（NLP）中，预训练语言模型（LLMs, Large Language Models）通常基于不同的架构，如仅编码器的模型（Encoder-only）、编码器-解码器的模型（Encoder-Decoder），以及仅解码器的模型（Decoder-only）。这三种架构有着显著的区别，主要体现在功能、适用任务和性能上。下面从架构、功能、任务适用性、训练数据和推理能力等多个角度详细分析。

1. 架构（Architecture）

  • 仅编码器的模型（Encoder-only LLMs）

    • 该架构仅包含一个编码器网络，类似于BERT等模型。编码器主要负责将输入序列（如句子或文本片段）转换为一个高维的语义向量表示。
    • 编码器通过自注意力机制学习输入文本的上下文关系，输出
最低0.47元/天 解锁文章
【大模型系列篇】大语言模型架构分类和对比
木亦汐丫
08-30 1704
在预训练语言模型时代，自然语言处理领域广泛采用了预训练(Pre-training) + 微调(SFT)的范式， 并诞生了以 BERT 为代表的编码器（Encoder-only）架构、以 GPT 为代表的解码器（Decoder-only）架构和以 T5 为代表的编码器-解码器（Encoder-decoder）架构的大规模预训练语言模型。值得注意的是，学术界所提到解码器架构时，通常指的都是因果解码器架构。与编码器-解码器不同的是，前缀解码器在编码和解码过程中是共享参数的，并没有划分为独立的解码器和编码器。
全球大型语言模型(LLMS)现状与比较
wuhanwhite的博客
03-23 2550
截至2024年3月，全球已发布或开发超过100个大语言模型（LLMs），参数量达万亿级。文档比较了OpenAI的GPT系列、Google的Gemini、Anthropic的Claude 3等国外模型，以及国内的ChatGLM、文心一言等。模型间在内容创作、搜索、多模态处理等方面各有优势，且多数提供免费访问。
AI大模型Transformer架构之编码器(Encoder)和解码器(Decoder)，看到就是赚到！！
最新发布
Gaga246的博客
03-20 897
“ Transformer编码器的作用是特征提取，而解码器的作用是特征重建 ” 像很多人一样，一直在奇怪Transformer架构经过多层编码和解码之后就能处理输入数据并生成新的数据；所以，今天我们就来深入了解一下Transformer的编码器。
DeepSeek、Kimi、文心一言、通义千问：AI 大语言模型的对比分析
BuluAI的博客
02-13 1万+
DeepSeek、Kimi、文心一言和通义千问作为国内领先的 AI 大语言模型，各有其独特的特点和优势。DeepSeek 在专业领域和多模态任务中表现出色，具有较高的性价比和稳定的性能。Kimi 注重对话的流畅性和安全性，在教育、客服等领域有广泛的应用。文心一言在内容创作和智能客服领域有出色的表现，能够生成丰富多样的文本内容。通义千问侧重商业场景和云服务生态的衔接，在商业领域有广泛的应用。用户可以根据自己的需求和预算选择合适的模型，以获得最佳的使用体验。
【国内外大模型对比】
weixin_42650233的博客
09-10 1385
其次，在这一领域,OpenAI 和Google 显然占据先发优势和市场主导地位，它们不仅推动了文本大型语言模型的发展，而且逐渐形成了家族式的大型模型集群。最后，除了文本模型之外，代码预训练模型也成为一个新的研究热点，这些模型在代码相关任务上已经展示了出色的性能。大语言模型技术的快速发展，大语言模型已成为各大互联网公司制造影响力的重要工具。图中主要是从大模型文本预训练模型和大模型代码预训练模型的对比。从参数量、输入长度限制、访问方式以及模型微调方式等多个方面对比了目前较为知名的文本大规模预训练语言模型。
[ai笔记13] 大模型架构对比盘点：Encoder-Only、Decoder-Only、Encoder-Decoder
文思源想的技术空间
02-25 1万+
最近看完《这就是chatgpt》对于大语言模型的三种架构演进图印象颇深，今日就专题盘点一下三种大模型架构理论，同时做一个简单对比。
Encoder-only decoder-only encoder-decoder大模型的区别
burstone的专栏
09-24 474
**优点**：能够处理输入序列和输出序列之间的关系，提高任务的准确性。- **定义**：同时包含编码器和解码器部分，适用于序列到序列的任务。- **代表模型**：GPT系列、LLaMA、OPT、BLOOM等。- **代表模型**：BERT、RoBERTa、ALBERT等。- **适用任务**：文本分类、情感分析、命名实体识别等。- **代表模型**：T5、BART、华为的盘古NLP等。- **适用任务**：文本生成、对话系统、机器翻译等。- **适用任务**：机器翻译、文本摘要、对话生成等。
【LLM】大语言模型（LLMs）
linjiuxiansheng的博客
07-23 1819
大型语言模型是由大量参数组成的神经网络，这些参数通过在大规模的文本数据上进行训练而得来。模型通过捕捉语言中的模式和结构，能够生成与理解上下文相关的自然语言文本。机器学习（Machine Learning, ML）是人工智能的一个分支，涉及开发算法和统计模型，使计算机系统能够从数据中自动学习和改进。深度学习（Deep Learning）是机器学习的一个子领域，基于多层神经网络模型进行学习和预测。它通过多个非线性变换和表示层次来提取数据的特征。
大语言模型（LLMs）全面学习指南
yXIAOyu_的博客
07-27 1512
大语言模型（LLMs）作为人工智能（AI）领域的一项突破性发展，已经改变了自然语言处理（NLP）和机器学习（ML）应用的面貌。这些模型，包括OpenAI的GPT-4o和Google的gemini系列等，已经展现出了在理解和生成类人文本方面的令人印象深刻的能力，使它们成为各行各业的宝贵工具。如下这份指南将涵盖LLMs的基础知识、训练过程、用例和未来趋势……大语言模型（LLMs）是一种深度学习模型，专门设计用于理解、分析和生成类似人类的文本。
大语言模型的前世今生：万字长文完整梳理所有里程碑式大语言模型（LLMs）
m0_64752471的博客
10-26 1187
作者：APlayBoy 编辑：AI生成未来链接：https://zhuanlan.zhihu.com/p/691719636所有资料 ⚡️ ，朋友们如果有需要全套 《》，本篇博客全面汇总了大型语言模型（LLMs）。从早期的预训练神经语言模型开始，探讨了它们的起源和发展。重点讨论了Transformer架构及其三个主要分类：仅编码器PLMs、仅解码器PLM和编码器-解码器PLM。接着，文章聚焦于GPT、LLaMA和PaLM这三大LLM家族，阐述了它们的特点和对语言模型领域的贡献。
一文详解大语言模型的流行架构与训练技术
python122_的博客
08-10 773
这篇博客全面介绍了大型语言模型（LLMs）的构建流程，从流行架构的选择到实际建模的每个关键步骤。文章首先探讨了LLMs的模型架构，然后详细阐述了数据准备过程，包括数据的收集、清洗和去重，接着是关于如何进行有效标记化的讨论。在模型构建方面，博客详细解释了采用自监督学习方法的预训练过程，以及对模型进行指令微调和对齐的重要性。每个环节都被细致地讲解，使读者能够深入理解LLMs的构建和优化过程。这篇博客为那些对LLMs工作方式感兴趣的读者提供了一个指导。
大规模语言模型的模型结构---编码器-解码器结构（GLM,UL2系列）
Hanscal
09-26 2368
2020 年 Open AI 发布了由包含 1750 亿参数的神经网络构成的生成式大规模预训练语言模型 GPT-3 (Gener- ative Pre-trained Transformer 3)。开启了大规模语言模型的新时代。由于大规模语言模型的参数量巨大， 如果在 不同任务上都进行微调需要消耗大量的计算资源， 因此预训练微调范式不再适用于大规模语言模型。
这段时间我对比的10+个AI语言类大模型
qq_41771196的博客
07-05 2178
紫东太初的核心原理是视觉、文本、语音不同模态通过各自编码器映射到统一语义空间，然后通过多头自注意力机制学习模态之间的语义关联以及特征对齐，形成多模态统一知识表示，再利用编码后的多模态特征，通过解码器分别生成文本、图像和语音。文心一言是百度开发的一种全新的大型语言模型，其设计理念是通过一对一的对话形式进行交互，从而与人进行对话，解答问题，协助创作。讯飞星火认知大模型是科大讯飞研发的认知智能大模型，可以和人类进行自然交流，提供包括语言理解、问答、推理等各类认知智能服务，高效完成各领域认知智能需求。
LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
07-05 6496
​ LLMs：《A Survey of Large Language Models大语言模型综述》的翻译与解读(一)之序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API+六类语料库+三种框架库) LLMs：大型语言模型发展综述—序言(挑战+LM四阶段+LLM与PLM的三大区别)、概述(两个代表性扩展定律/涌现能力三种典型/六大关键技术+GPT系列技术演进)、资源(开源模型/闭源API
LLM大模型技术实战4：热门开源LLMs对比和选型
2401_84495872的博客
05-06 2871
总结是LLM的重要能力。通过Prompt Engineering，LLM可对用户输入的文本提炼总结。在工作中我们每天会处理大量会议、报告、文章、邮件等文本内容，LLM总结能力有助于快速获取关键信息，提升工作效率。【应用】：在线视频会议、电话会议内容总结；私有化知识库文档总结；报告、文章、邮件等工作性文本总结。在推荐领域，还可以结合用户的历史数据、报表数据、case排查数据，生成总结文案和优化建议。
01.大型语言模型背后的基本概念的高级解释 （LLMs）
十年互联网开发老兵，陪你一起学技术
01-10 916
在课程中，我们将专注于从头开始理解如何LLMs工作，编写可以生成文本LLM的编码。我们还将学习允许LLMs执行查询的技术，从回答问题到总结文本、将文本翻译成不同的语言等等。换句话说，在本书中，我们将通过一步一步的构建来了解 ChatGPT 等复杂LLM助手的工作原理。
目前最火AI模型横向比较
迎着阳光盛大逃亡~
01-27 2478
不同AI模型异同点
开源LLMs导览：工作原理、顶级LLM列表对比
淋曦的进击手记
02-22 1685
开源大型语言模型有可能重塑和彻底改变人工智能驱动的组织。通过鼓励透明度、协作和道德发展，开源LLM有能力建立一个更具包容性和创新性的人工智能社区。此外，它们的适应性、多功能性和经济性使它们成为没有预算从头开始训练自己模型的组织的绝佳选择。
大语言模型(LLM)入门学习路线图
热门推荐
weixin_36751401的博客
02-28 2万+
Github项目上有一个，它涵盖了大语言模型基础学习，LLM前沿算法和架构学习，以及如何将大语言模型进行工程化，是一个很好的帮助初学者入门大语言模型的路线图。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值