大型语言模型（LLMs）的基本架构

最新推荐文章于 2025-06-23 13:32:13 发布
最新推荐文章于 2025-06-23 13:32:13 发布
阅读量275 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 生成式AI的提示工程的关键概念和技术 文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24766857/article/details/142705450

大型语言模型（LLMs）的基本架构通常是基于Transformer架构的。Transformer架构自2017年提出以来，已经成为自然语言处理（NLP）任务中的主流架构。以下是Transformer架构的详细说明及其在LLMs中的应用。

Transformer架构

1. 基本组件
  • 编码器（Encoder）：将输入序列转换为一个固定长度的向量表示。
  • 解码器（Decoder）：根据编码器生成的向量表示生成输出序列。
  • 自注意力机制（Self-Attention Mechanism）：允许每个位置都能关注到输入序列中的所有其他位置，从而捕捉全局上下文信息。
  • 多头注意力（Multi-Head Attention）：通过并行使用多个注意力机制，可以同时关注不同类型的上下文信息。
  • 前馈神经网络（Feed-Forward Neural Network）：对每个位置进行独立的线性变换和非线性激活。
  • 位置编码（Positional Encoding）：由于Transformer没有递归或卷积结构，因此需要显式地添加位置信息来保留序列顺序。
2. 工作流程

了解本专栏 订阅专栏 解锁全文 超级会员免费看
大语言模型架构设计
liguandong
05-21 1793
对大模型进行改造，比如T5的预训练目标是MLM，不是一个很好的生成模型，把目标改成PLM或FLM，继续训练，和微调不同，再次训练用的数据不是下游数据，而是额外的无监督文本数据。masked language modeling，MLM，训练bert时的完形填空，遮盖住文本中一部分token，让模型通过上下文猜测遮盖部分的token，可以像T5一样将任务改造成text2text形式，input和target都是一段文本，可以适配ND和ED，如果将input和target拼接起来，就可以适配CD。
什么是大型语言模型（LLMs）？
qq_24766857的博客
10-04 245
大型语言模型（Large Language Models, LLMs）是指通过深度学习技术训练而成的、具有数十亿甚至数万亿参数的神经网络模型。这些模型能够理解和生成自然语言，广泛应用于各种自然语言处理（NLP）任务，如文本生成、翻译、问答、情感分析等。
一文详解大语言模型的流行架构与训练技术
zhishi0000的博客
07-07 1188
这篇博客全面介绍了大型语言模型（LLMs）的构建流程，从流行架构的选择到实际建模的每个关键步骤。文章首先探讨了LLMs的模型架构，然后详细阐述了数据准备过程，包括数据的收集、清洗和去重，接着是关于如何进行有效标记化的讨论。在模型构建方面，博客详细解释了采用自监督学习方法的预训练过程，以及对模型进行指令微调和对齐的重要性。每个环节都被细致地讲解，使读者能够深入理解LLMs的构建和优化过程。这篇博客为那些对LLMs工作方式感兴趣的读者提供了一个指导。
大语言模型架构详解
weixin_44729653的博客
06-03 1279
随着数据资源和计算能力的爆发式增长，语言模型的参数规模和性能表现实 现了质的飞跃，迈入了大语言模型（LargeLanguageModel,LLM）的新时代。凭借着 庞大的参数量和丰富的训练数据，大语言模型不仅展现出了强大的泛化能力，还催 生了新智能的涌现，勇立生成式人工智能（ArtificialIntelligenceGeneratedContent, AIGC）的浪潮之巅。当前，大语言模型技术蓬勃发展，各类模型层出不穷。
大语言模型的三种主要架构 Decoder-Only、Encoder-Only、Encoder-Decoder
热门推荐
u010899985的博客
12-22 1万+
f基于 Transformer 模型以非灰色显示：decoder-only 模型在蓝色分支，encoder-only 模型在粉色分支，encoder-decoder 模型在绿色分支。模型在时间线上的垂直位置表示它们的发布日期。开源模型由实心方块表示，而闭源模型由空心方块表示。右下角的堆积条形图显示了各公司和机构的模型数量。从时间轴上，我们可以看到：2021年前，当 OpenAI 决定在，他们实际上是在逆流而上。
大语言模型主流架构解析：从Transformer到GPT、BERT
码上飞扬的博客
03-01 2408
通过文本的上下文理解，GPT能够执行一定程度的翻译和摘要功能，虽然相较于专门的翻译模型仍有一定差距，但其多样性和灵活性使其适用于多个语言间的转换与信息提炼。T5的最显著的特征就是其“文本到文本”的处理方式。不同于传统方法中将任务分开处理，T5将所有输入和输出均视为文本，这意味着无论输入是什么，输出都是一段文本。文本摘要：输入 “summarize: 这是一段需要总结的长文本。”，模型输出相应的摘要。机器翻译。
关于大语言模型架构你知道多少
王二的博客
07-23 984
上篇文章有介绍了LLaMA 所采用的Transformer 结构和细节，与在本篇文章所介绍的Transformer架构不同的地方包括采用了前置层归一化（Pre-normalization）并使用RMSNorm 归一化函数（Normalizing Function）、激活函数更换为SwiGLU，并使用了旋转位置嵌入（RoP），整体Transformer架构与GPT-2 类似，如图1.1所示。图1.1 GPT-2 模型结构。
Generative AI 新世界：大型语言模型（LLMs）概述.pdf
08-26
Generative AI 新世界：大型语言模型（LLMs）概述 大型语言模型（LLMs）是近年来人工智能领域的热门话题，具有数十亿参数的预训练语言模型可以用于各种自然语言处理任务，如文本生成、机器翻译和自然语言理解等。...
【LLM】大语言模型（LLMs）
linjiuxiansheng的博客
07-23 1892
大型语言模型是由大量参数组成的神经网络，这些参数通过在大规模的文本数据上进行训练而得来。模型通过捕捉语言中的模式和结构，能够生成与理解上下文相关的自然语言文本。机器学习（Machine Learning, ML）是人工智能的一个分支，涉及开发算法和统计模型，使计算机系统能够从数据中自动学习和改进。深度学习（Deep Learning）是机器学习的一个子领域，基于多层神经网络模型进行学习和预测。它通过多个非线性变换和表示层次来提取数据的特征。
大模型高效大型语言模型架构搜索与权重重构方法研究
10-05
本文提出了无训练阶段的神经网络结构搜索框架来发掘大型语言模型（LLMs）的有效子网络结构，同时介绍了一种基于交替方向乘子法的小样本权重复构机制。实验结果显示该方法优于现有最先进的压缩技术和结构化剪枝技术，...
模型并行 | 大规模语言模型架构 Megatron
weixin_66945478的博客
08-16 7022
Megatron是NVIDIA提出的一种由于分布式训练大规模语言模型的架构，针对Transformer进行了专门的优化（也就是大矩阵乘法）。，主要提出了通过将矩阵分块提高并行度的方法。，对于分布式中的一些重要的设计，如tensor parallel、pipeline parallel、micro batch size等进行了一些分析与讨论。同时提出了更加精细的pipeline结构与communication模式。
多模态大语言模型全面综述：架构，训练，数据，评估，扩展，应用，挑战，机遇
m0_59235245的博客
06-26 2055
指令指的是任务的描述。直观地说，指令调整的目的是教会模型更好地理解用户的指令并完成所要求的任务。通过这种方式调整后，LLM能够通过遵循新的指令来泛化到未见过的任务，从而提升零样本性能。这个简单而有效的想法激发了后续NLP作品的成功，如ChatGPT[2]、InstructGPT[95]、FLAN[19]、[56]和OPT-IML[96]。图3展示了指令调整与典型学习范式的比较。监督微调方法通常需要大量的特定任务数据来训练特定任务的模型。提示方法减少了对大规模数据的依赖，并且可以通过提示工程完成专业任务。
多模态大语言模型(MLLMs)-一般架构（非常详细）零基础入门到精通，收藏这一篇就够了
Python_0011的博客
06-11 3509
多模态大语言模型(Multimodal Large Language Model ,），在LLM原有的强大泛化和推理能力基础上，进一步引入了多模态信息处理能力。相比于以往的多模态方法，例如以 CLIP 为代表的判别式，或以 OFA 为代表的生成式，新兴的 MLLM 展现出一些典型的特质，在下面这两种特质的加持下，MLLM 涌现出一些以往多模态模型所不具备的能力！模型大。MLLM 通常具有数十亿的参数量，更多的参数量带来更多的潜力；新的训练范式。
AI 驱动的系统工程实践：大型语言模型（LLMs）架构与应用
Code1994的博客
10-03 699
了解 LLM 的架构和功能对于有效地驾驭和利用这些强大的工具非常必要。在文本生成、语言翻译和问题解答等任务中使用人工智能工具，可以提高系统的整体质量。不过，验证 LLM 内容并确保其准确性、相关性和实用性至关重要。在处理敏感信息时，你还应谨慎行事，避免使用 LLM 发送个人信息、凭证或机密信息。通过遵循最佳实践并了解 LLM 的局限性，你可以利用人工智能工具的强大功能创建更高效、可靠和安全的软件解决方案。
大语言模型底层架构丨带你认识Transformer
华为云官方博客
12-06 2045
本文主要介绍Transformer 结构。
大语言模型应用的10种常用架构模式
2401_85378759的博客
08-16 1680
在塑造新领域的过程中，我们往往依赖于一些经过实践验证的策略、方法和模式。这种观念对于软件工程领域的专业人士来说，已经司空见惯，设计模式已成为程序员们的重要技能。然而，当我们转向大模型应用和人工智能领域，情况可能会有所不同。面对新兴技术，例如生成式AI，我们尚缺乏成熟的设计模式来支撑这些解决方案。作为一位老码农，我在这里整理总结了一些针对大模型应用的设计方法和架构模式，试图应对和解决大模型应用实现中的一些挑战，如成本问题、延迟问题以及生成的不准确性等。
大型语言模型（基于GPT架构）的关键组件和结构
DrD2022的博客
07-25 991
4.预训练和微调：像GPT-3这样的大型语言模型经历两个主要阶段：预训练和微调。在预训练期间，模型会接触到来自互联网的大量文本数据，并学习根据上下文预测句子中的下一个单词。值得注意的是，像 GPT-3 这样的大型语言模型是资源密集型的，需要大量的计算能力来进行训练和推理。这意味着它们缺少典型 Transformer 架构中的“编码器”部分，因为 GPT 模型主要是为自回归语言生成而设计的。6.注意力掩模：为了确保模型在自回归生成过程中不会“作弊”和窥视，注意力掩模用于防止模型在训练期间关注未来的标记。
大语言模型预训练篇-----模型架构篇（一）
yjxqqq的博客
07-26 2068
本文主要讨论大语言模型的模型架构选择，主要围绕Transformers模型进行讲解引申。本章为第一章Transformer模型详细架构与解释。
大模型深度解析：定义、展现形式、架构及Transformer详解一篇通！
最新发布
2401_84495872的博客
06-23 558
本文介绍了大模型的基础知识，主要包括：1. 大模型的定义和特点，如大规模参数（10亿以上）、基于Transformer架构、海量数据训练；2. 大模型的表现形式，通常是一个包含参数的特定格式文件；3. Transformer深度学习架构的核心原理，包括自注意力机制等；4. 大模型的架构演进和扩展应用。文章还提供了从系统设计到行业应用的大模型学习路径，包含思维导图、视频教程等免费学习资源，适合0基础新手入门AI大模型技术。
大型语言模型（LLMs）
02-08
### 大型语言模型概述 大型语言模型（Large Language Models, LLMs）代表了一类基于深度学习技术构建的强大自然语言处理工具。这些模型通过大规模语料库训练，在多种任务上展现出卓越性能，包括但不限于文本生成、问答系统以及对话代理。 #### 发展历程与特性 LLMs经历了四个发展阶段：预训练-微调范式下的早期探索；引入自监督学习机制后的架构创新；参数量级突破百亿乃至千亿规模所带来的质变效应；最终形成具备广泛适用性的通用人工智能平台[^1]。相较于传统的小型或特定领域限定的语言模型，LLMs具有显著优势——更强的泛化能力和更少的数据依赖性。 #### 关键差异对比 当比较LLMs与其他类型的预训练语言模型时，主要存在三点不同之处： - **数据需求**：前者能够利用互联网上的海量无标注文本资源进行高效训练； - **上下文理解力**：后者往往受限于固定长度的历史记录窗口大小，而前者则能更好地捕捉长期依赖关系； - **迁移灵活性**：对于下游应用场景而言，仅需少量样本即可实现良好适配效果。 #### 应用场景拓展 除了传统的文字处理外，多模态融合成为新的研究热点之一。例如Video-LLaMA框架允许同时解析视频中的视觉和听觉信息，并将其转换成连贯的语言描述，从而支持更加复杂的人机交互形式[^3]。 此外，在实际业务操作层面，诸如内容审查这样的功能也得到了极大增强。借助于强大的分类识别技能，经过专门调整优化过的LLM版本可以迅速响应政策变动并精准定位违规行为，极大地提高了工作效率和服务质量[^4]。 ```python # Python代码示例展示如何加载一个预训练好的LLM用于简单的情感分析任务 from transformers import pipeline sentiment_analysis = pipeline("sentiment-analysis") result = sentiment_analysis(["We are very happy to see you!", "This is so annoying."]) print(result) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值