详解各种LLM系列｜（1）LLaMA 1 模型架构、预训练、部署优化特点总结

已于 2023-12-09 17:12:47 修改
阅读量1.5k 收藏 8
点赞数 1
分类专栏： 各种LLM 文章标签： llama 深度学习 人工智能 自然语言处理 nlp transformer
于 2023-11-28 22:16:21 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_49659123/article/details/134541393
版权
Meta的LLaMA是首个开源的65B参数语言模型，以7B参数模型超越GPT-3。文章详细介绍了LLaMA的架构、预训练数据来源、tokenizer、优化方法，以及高效部署策略，包括因果多头注意和模型并行等。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

一、引言

LLaMA 是Meta在2023年2月发布的一系列从 7B到 65B 参数的基础语言模型。LLaMA作为第一个向学术界开源的模型，在大模型爆发的时代具有标志性的意义。

为了更深入地理解LLaMA的技术特点，特地在此整理了LLaMA 1 模型架构、预训练、部署优化特点。话不多说，我们仔细看看吧

二、LLaMA简介

 论文：https://arxiv.org/abs/2302.13971

Github：GitHub - facebookresearch/llama: Inference code for LLaMA models

Meta 训练这些模型使用了数万亿个 token，并且证明了完全可以只使用公开可得的数据集来训练最先进的模型，而无需使用专有和不可获取的数据集。特别是，LLaMA-13B 在大多数基准测试中表现优于GPT-3（175B），而 LLaMA-65B 在竞争中与最佳模型 Chinchilla70B 和PaLM-540B 持平。

Meta在训练这些模型时，也同时考虑到了模型在推理部署时的性能和要求 - 在大规模提供语言模型时，推理速度和推理性能变得至关重要。因此，LLaMA选择用更小的模型，以及更多的数据集来进行预训练。

（Hoffmann等人的最新工作显示，在给定的计算预算下，最佳性能并不是由最大的模型实现的，而是由更多数据训练的较小模型实现的。

在这种情况下，考虑到推理运算以及目标性能水平，首选模型不是训练速度最快的，而是推理速度最快的。虽然训练一个大型模型达到一定性能水平可能更便宜，但训练时间更长的较小模型在推理阶段最终会更经济。例如，虽然Hoffmann等人建议在 200B 标记上训练 10B 模型，但 Meta 发现 7B 模型的性能在 1T token 后仍在持续提高。）

三、具体方法

3.1 预训练数据

LLaMA的预训练数据大约包含1.4T个token。其训练数据集是几个来源的混合，涵盖了不同的领域。

表1所示是 LLaMa 预训练数据的含量和分布：

表1：训练数据组成
数据集样本比例Epochs所占磁盘大小
CommonCrawl67.0%1.103.3 TB
C415.0%1.06783 GB
Github4.5%0.64328 GB
Wikipedia4.5%2.4583 GB
Books4.5%2.2385 GB
ArXiv2.5%1.0692 GB
StackExchange2.0%1.0378 GB

  1. English CommonCrawl [67%]：对五个 CommonCrawl 数据集进行预处理，时间跨度从2017年到2020年，使用 CCNet 来进行文本数据的预处理。该过程先进行文本内容分片，然后进行段落归一化，并在此基础上在行级别进行数据去重；使用 fastText 线性分类器进行语言识别，以删除非英语页面；使用 n-gram 语言模型过滤低质量内容。此外，还训练了一个线性模型，用于将页面分类为 Wikipedia 中的引用页面与随机抽样页面，并丢弃未被分类为引用的页面。（CCNet可参考LLM Data Pipelines: 解析大语言模型训练数据集处理的复杂流程 - 掘金）
  2. C4 [15%]：C4也是属于Common Crawl数据集的一个经过粗略预处理的子集。在探索性实验中，研究团队观察到使用不同的预处理CommonCrawl数据集可以提高性能。因此，在数据中包含了公开可用的C4数据集。对于C4的预处理与 CCNet 的主要区别在于质量过滤，对于C4的预处理主要依赖于标点符号的存在或网页中的词语和句子数量等启发式方法。
  3. Github [4.5%]：使用 Google BigQuery 上可用的公共 GitHub 数据集。此外，使用基于行长度或字母数字字符比例的启发式方法过滤低质量文件，并使用正则表达式删除了诸如header之类的内容。最后，对生成的数据集进行了文件级别的去重，使用完全匹配的方法。
  4. Wikipedia [4.5%]：添加了截至2022年6月至8月的 Wikipedia 数据，涵盖20种语言。预处理包括：去除超链接、评论和其他格式样板。
  5. Gutenberg and Books3 [4.5%]：添加了两个书籍类的数据集，分别是 Gutenberg 以及 ThePile (训练 LLM 的常用公开数据集) 中的 Book3 部分。预处理包括重复数据删除，删除内容重叠超过 90% 的书籍。
  6. ArXiv [2.5%]：处理了arXiv Latex文件，以添加学术文本到数据集中。预处理包括：移除第一节之前的所有内容，以及参考文献；移除了.tex文件中的注释，并且内联展开了用户编写的定义和宏，以增加论文之间的一致性。
  7. Stack Exchange [2%]：这是一个涵盖各种领域的高质量问题和答案网站，范围从计算机科学到化学（类似知乎）。研究团队从 28 个最大的网站保留数据，从文本中删除 HTML 标签并按分数对答案进行排序。

笔者NOTE：对于LLM的训练，数据的质量是基础。对于这部分感兴趣的小伙伴，可以仔细看下LLaMA训练时对于不同数据集的处理方式。

3.2 Tokenizer

使用字节对编码（BPE）算法对数据进行分词，使用 SentencePiece 的实现。值得注意的是，作者将所有数字分割成单个数字。

对于BPE的详细解释，可参考BPE 算法原理及使用指南【深入浅出】 - 知乎

3.3 模型架构

LLaMa 的网络还是主要基于 Transformer 架构。研究团队根据不同模型（如PaLM）的改进，从而利用了这些改进，来进一步提高LLaMA的训练稳定性、上下文长度性能。

以下是与原始架构的主要区别，以及从哪里得到了这种变化的灵感（括号中）。

  1. Pre-normalization [受 GPT3 的启发]：为了提高训练稳定性，LLaMa 对每个 Transformer 子层的输入进行归一化，而不是对输出进行归一化。LLaMa 使用了 RMSNorm 归一化函数。
    （关于Pre-norm vs Post-norm，可参考为什么Pre Norm的效果不如Post Norm？ - 科学空间|Scientific Spaces） 

  2. SwiGLU 激活函数 [受 PaLM 的启发]：LLaMa 使用 SwiGLU 激活函数替换 ReLU 以提高性能，维度从4d变为\tfrac{2}{3}4d。SwiGLU是一种激活函数，它是GLU的一种变体， 它可以提高transformer模型的性能。SwiGLU的优点是它可以动态地调整信息流的门控程度，根据输入的不同而变化，而且SwiGLU比ReLU更平滑，可以带来更好的优化和更快的收敛。
    （关于SwiGLU激活函数，可参考激活函数总结（八）：基于Gate mechanism机制的激活函数补充(GLU、SwiGLU、GTU、Bilinear、ReGLU、GEGLU)_glu激活-CSDN博客）

  3. Rotary Embeddings [受 GPTNeo 的启发]：LLaMa 没有使用之前的绝对位置编码，而是使用了旋转位置编码（RoPE），可以提升模型的外推性。它的基本思想是通过一个旋转矩阵来调整每个单词或标记的嵌入向量，使得它们的内积只与它们的相对位置有关。旋转嵌入不需要预先定义或学习位置嵌入向量，而是在网络的每一层动态地添加位置信息。旋转嵌入有一些优点，比如可以处理任意长度的序列，可以提高模型的泛化能力，可以减少计算量，可以适用于线性Attention等。
    (关于 RoPE 的具体细节，可参考十分钟读懂旋转编码（RoPE） - 知乎）

笔者NOTE：LLM的架构是实现LLM基础性能的基石，对于这部分，各位小伙伴还是需要深入地了解一下各种架构的原理，以及其优劣势。

3.4 优化器

LLaMA使用了AdamW优化器进行训练，优化器的超参数为\beta _{1}=0.9, \beta _{2}=0.95

(关于AdamW这个大模型训练的优化器，可参考当前训练神经网络最快的方式：AdamW优化算法+超级收敛 | 机器之心)

下表为LLaMA不同参数大小模型的具体设置：

表2: LLaMA不同参数大小模型的具体设置
参数维度（dim）head个数layer层数学习率batch sizetoken数量
6.7B409632323.0e−44M1.0T
13.0B512040403.0e−44M1.0T
32.5B665652601.5e−44M1.4T
65.2B819264801.5e−44M1.4T


 

3.5 训练结果

 如下图所示，7B、13B、33B和65模型的训练损失均呈下降趋势，且在所有token上训练完后，loss仍没有收敛的趋势。因此，在此时，增加训练的token数量，仍然可以使模型继续学习。

（LLaMA2就是在此结论的基础上，使用了更多的token进行训练）

3.6 高效部署

研究团队做了一些优化来提高模型的训练速度：

  1. 因果多头注意的有效实现：使用因果多头注意的有效实现来减少内存使用和运行时间。该实现可在xformers库中获得，其灵感来自于固定激活值显存优化和FlashAttention。这是通过不存储注意力权重和不计算由于语言建模任务的因果性质而被掩盖的key/query分数来实现的。
  2. 激活重计算：为了进一步提高训练效率，通过检查点减少了在向后传递过程中重新计算的激活量。更准确地说，节省了计算成本高的激活，比如线性层的输出。这是通过手动实现transformer层的backward函数来实现的，而不是依赖于PyTorch的autograd。
  3. 模型并行和序列并行：为了从这种优化中充分受益，需要通过使用模型和序列并行来减少模型的内存使用。此外，还尽可能地重叠激活的计算和gpu之间通过网络的通信。

笔者NOTE：LLM的高效训练是LLM工程实现的基础，对于这部分，各位小伙伴还是需要深入地了解一下各种并行策略、因果多头注意的有效实现、 激活重计算、混合精度训练。

四、基于LLaMA的衍生模型（概述）

笔者NOTE：由于篇幅太长，因此在这篇里仅进行基于LLaMA的衍生模型的概述，之后也会出详细介绍各个衍生模型的文章

4.1 Alpaca

Alpaca是斯坦福在LLaMa-7B的基础上监督微调出来的模型，斯坦福是用OpenAI的Text-davinci-003 API配合self-instruct技术，使用175个提示语种子自动生成了52K条提示-回复的指示数据集，在LLaMa-7B上微调得到的模型，在8张80G的A100上训练了3小时。

可以说是以极低的成本生成了高质量的指令数据，并进行了指令微调，最终可以达到媲美GPT3.5的水平。

4.2 Vicuna

Vicuna是在LLaMa-13B的基础上使用监督数据微调得到的模型，数据集来自于ShareGPT.com 产生的用户对话数据，共70K条。使用Pytorch FSDP在8张A100上训练了一天。相较于Alpaca，Vicuna在训练中将序列长度由512扩展到了2048，并且通过梯度检测和flash attention来解决内存问题；调整训练损失考虑多轮对话，并仅根据模型的输出进行微调。通过GPT4来打分评测，Vicuna可以达到ChatGPT 90%的效果。并且还提供了可调用的分布式聊天服务FastChat。

参考：

LLaMa-1 技术详解 - 知乎

LLaMA及其子孙模型概述 - 掘金

https://www.cnblogs.com/jiangxinyang/p/17310398.html

LLM 大模型学习必知必会系列(一)：大模型基础知识篇
丨汀、的博客
05-09 2167
LLM 大模型学习必知必会系列(一)：大模型基础知识篇
Llama模型家族之使用 Supervised Fine-Tuning（SFT）微调预训练Llama 3 语言模型（六）Llama 3 已训练的大模型合并LoRA权重参数
段智华的博客
05-24 834
1、Llama开源模型家族大模型技术、工具和多模态详解：学员将深入了解Meta Llama 3的创新之处，比如其在语言模型技术上的突破，并学习到如何在Llama 3中构建trust and safety AI。8、Llama 3中的DPO原理、算法、组件及具体实现及算法进阶：学习Llama 3中结合使用PPO和DPO算法，剖析DPO的原理和工作机制，详细解析DPO中的关键算法组件，并通过综合项目八从零开始动手实现和测试DPO算法，同时课程将解密DPO进阶技术Iterative DPO及IPO算法。
LLM学习：大模型架构要点总结
m0_59163425的博客
04-11 3329
LLM本身基于transformer架构。通常认为参数量超过10B的模型为大语言模型。由于参数量巨大，需要的训练数据量也极多，因此目前大部分的使用方式为：大公司整理大量常用数据集，训练一个各方面性能还不错的通用大模型，小公司在此通用模型上搜集小规模行业数据进行微调，最终得到行业专有模型/领域模型。当然，如果通用模型能直接拥有各行业知识是最好的，但以目前的数据量和算力等还未达到效果。
深入分析 Llama 4 最新架构
最新发布
2401_85375298的博客
04-08 1010
Llama系列自Meta AI推出以来，以其高效性、开源性和不错的表现在学术界和工业界广受关注。从Llama 1到Llama 3，我们见证了模型在规模、训练数据质量和应用场景上的持续优化。而Llama 4的到来，标志着这一系列在多模态能力和计算效率上的又一次飞跃。当然Llama再怎么蹦跶，目前在中文领域还难以超过deepseek。•: 激活参数170亿，总参数109B，16个专家，支持高达1000万（10M）token的超长上下文窗口。可在INT4模式下在单个H100 GPU上部署。•。
自然语言处理历史最全预训练模型(部署)汇集分享
lqfarmer的博客
08-15 488
什么是预训练模型？ 预练模型是其他人为解决类似问题而创建的且已经训练好的模型。代替从头开始建立模型来解决类似的问题，我们可以使用在其他问题上训练过的模型作为起点。预训练的模型在相似的应用程序中可能不是100％准确的。 本文整理了自然语言处理领域各平台中常用的NLP模型，常见平台包括Tensorflow、Keras、Pytorch、MXNet、Caffe。分享给需要的朋友。 点击文末阅读原文，获取预训练模型下载链接。 Tensorflow Kera...
最强英文开源模型LLaMA架构探秘，从原理到源码
Steve Wang's blog
10-22 3750
LLaMA架构，三个关键点及对应原理，一些实现源码
LLM大模型
a910247的博客
02-03 471
在预训练阶段，LLM模型通过无监督学习从大规模的文本数据中学习语言的统计特征和语义信息。LLM模型是一种用于自然语言处理的语言模型，它是基于预训练的深度学习模型。LLM代表"Language Learning Model"，它的目标是通过大规模的文本数据来学习语言的表示和语义理解。在应用阶段，LLM模型可以用于各种自然语言处理任务，如文本分类、命名实体识别、情感分析等。LLM模型的优点是能够学习到丰富的语义表示，具有较好的泛化能力。它在自然语言处理任务中取得了很好的效果，并且被广泛应用于各种实际场景中。
详解各种LLM系列｜（5）LLaMA 3模型解析（Meta重磅发布！）
weixin_49659123的博客
06-17 4499
本文对近期发布的llama3进行技术详解
大规模语言模型从理论到实践 LLaMA分布式训练实践
AI天才研究院
06-27 557
大规模语言模型从理论到实践 LLaMA分布式训练实践 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大规模语言模型，LLaMA，分布式训练，并行处理，GPU加速 1. 背景介绍
一文详解大语言模型的流行架构与训练技术
python122_的博客
08-10 786
这篇博客全面介绍了大型语言模型（LLMs）的构建流程，从流行架构的选择到实际建模的每个关键步骤。文章首先探讨了LLMs的模型架构，然后详细阐述了数据准备过程，包括数据的收集、清洗和去重，接着是关于如何进行有效标记化的讨论。在模型构建方面，博客详细解释了采用自监督学习方法的预训练过程，以及对模型进行指令微调和对齐的重要性。每个环节都被细致地讲解，使读者能够深入理解LLMs的构建和优化过程。这篇博客为那些对LLMs工作方式感兴趣的读者提供了一个指导。
多图详解LLaMA 3的使用方法和进化之路
热门推荐
herosunly的博客
04-21 8万+
LLaMA 3是Meta AI在2024年4月18日发布的最新开源模型家族。其中已发布的是8B和70B的base和instruct版本。未来将会发布400B参数量、多语言、多模态、长上下文等不同的大模型。那么如何使用LLaMA 3呢？简单来说，可分为两种方式：在线使用和本地部署。
从 Llama 1 到 3.1：Llama 模型架构演进详解
python1234567_的博客
11-25 1839
原创：面对 Llama 模型家族的持续更新，您是否想要了解它们之间的关键区别和实际性能表现？本文将探讨 Llama 系列模型的架构演变，梳理了 Llama 模型从 1.0 到 3.1 的完整演进历程，深入剖析了每个版本的技术创新，还通过实际实验对比了 Llama 2 和 Llama 3 在推理速度、答案长度和相对答案质量（RAQ）等关键指标上的表现差异。
结构篇| 浅析LLaMA网络架构
强化学习曾小健
12-05 1752
LLaMA（Large Language Model Meta AI）是由Meta AI 发布的一个开放且高效的大型基础语言模型。为什么突然讲这个模型，主要LLaMA 已经成为了最受欢迎的开源大语言模型之一，LLaMA 系列模型在学术界和工业界引起了广泛的 关注，对于推动大语言模型技术的开源发展做出了重要贡献。第一，开源，去了解其内部模型具有可行性。第二，它很受欢迎，说明在LLM界还是具有很强代表性，了解它内部结构有助于深入理解LLM发展路径。
LLM 大模型
法海你懂不?
06-13 444
https://my.oschina.net/oscpyaqxylk/blog/8727824
LLM大模型综述
zh515858237的专栏
01-10 3万+
LLM其实就是large language model，大语言模型。如果对“最终任务”进一步进行分类，又大致可以分为两大不同类型的任务：自然语言理解类任务和自然语言生成类任务。如果排除掉“中间任务”的话，典型的自然语言理解类任务包括文本分类、句子关系判断、情感倾向判断等，这种任务本质上都是分类任务，就是说输入一个句子（文章），或者两个句子，模型参考所有输入内容，最后给出属于哪个类别的判断。自然语言生成也包含很多NLP研究子方向，比如聊天机器人、机器翻译、文本摘要、问答系统等。
大语言模型学习（二）LlaMA模型架构，什么是LlaMA？
老皮的博客
09-16 5688
LLaMA的全称是Large Language Model Meta AI，直译为“大语言模型元AI”。由于“Llama”在西班牙语中意为“羊驼”，因此社区也将其昵称为羊驼系模型。LLaMA于2023年2月由Meta AI发布，是该系列的初代模型。随后，Meta AI又相继推出了LLaMA2和LLaMA3等升级版本。
LLM模型整理
weixin_50862344的博客
04-29 248
https://github.com/mooler0410/llmspracticalguide
大模型学习笔记 - LLM模型架构
m0_37531129的博客
07-20 2129
具体来说，滑动窗口注意力设置了一个大小为𝑤 的窗口，对每个词元𝑢𝑡，只对窗口内的词元[𝑢𝑡−𝑤+1, . . . , 𝑢𝑡 ] 进行注意力计算，从而将复杂度降低到𝑂(𝑤𝑇)。来自于《Mixtral of Experts》，Mixtral 8x7B 是一种稀疏的混合专家（稀疏 MoE）模型，目前是性能最佳的大型语言模型（LLM）之一，同时也是最受人关注的一种公开可用的 LLM。大语言模型与早期的预训练语言模型相比，主要是使用了更长的向量维度、更深的层数、更大的数据集、进而包含了更大规模的模型参数。
LLM主要类别架构
2401_85373898的博客
06-13 1723
LLM本身基于transformer架构。自2017年，attention is all you need诞生起，transformer模型为不同领域的模型提供了灵感和启发。基于原始的Transformer框架，衍生出了一系列模型，一些模型仅仅使用encoder或decoder，有些模型同时使encoder+decoder。💫LLM分类一般分为三种：自编码模型（encoder）、自回归模型(decoder)和序列到序列模型(encoder-decoder)。
vllm部署模型
03-18
<think>好的，我现在需要回答用户关于vLLM部署模型的问题。首先，我需要确认vLLM是什么，可能是指一个机器学习或深度学习相关的库或框架。根据之前的对话，用户可能对技术部署步骤感兴趣。 首先，我应该回想一下是否听说过vLLM。可能是指Versatile Large Language Model，或者是某个特定的库。不过，也有可能用户指的是vLLM项目，比如由某个组织开发的用于高效推理大语言模型的工具。例如，有一个开源项目叫vLLM，专为快速LLM推理和部署设计，支持高吞吐量和低延迟。 接下来，我需要验证这个信息是否正确。比如，vLLM的特点可能包括PagedAttention技术，有效管理注意力键值缓存，提高GPU利用率。同时，它可能支持多种模型，如LLaMA、GPT-2等，并且易于与Hugging Face模型集成。 然后，用户想知道如何部署模型使用vLLM，所以需要分步骤介绍。步骤可能包括安装vLLM、加载预训练模型、配置参数（如tensor并行、批处理大小）、启动API服务等。此外，可能涉及性能优化和实际应用场景的例子。 需要确保回答结构清晰，按照用户之前的指示，分点列出，使用中文，并正确应用LaTeX格式。同时，要检查技术术语的准确性，比如PagedAttention是否正确，是否支持哪些模型框架，是否有代码示例等。 可能还需要比较vLLM与其他部署工具（如TensorFlow Serving、TorchServe）的优势，突出其高效性和易用性。此外，注意事项部分可以提到硬件要求、依赖版本、常见问题解决等。 最后，总结vLLM的适用场景，比如高并发需求、需要低延迟的服务等，并给出学习建议，如查阅官方文档、参与社区等。</think>以下是关于使用 **vLLM 部署大语言模型**的详细介绍： --- ### 一、vLLM 核心优势 1. **PagedAttention 技术** - 通过分页管理注意力机制的键值缓存（Key-Value Cache），显著提升 GPU 内存利用率 - 支持 **$ \text{吞吐量提升 2-3 倍} $**（对比传统部署方式） 2. **零冗余优化** - 自动合并重复请求的计算路径，减少冗余运算 - 支持连续批处理（Continuous Batching），提升硬件利用率 3. **广泛模型支持** - 原生支持 LLaMA、GPT-2、OPT 等架构 - 兼容 Hugging Face 模型库（需转换格式） --- ### 二、部署步骤详解 #### 1. 环境准备 ```bash # 安装 vLLM pip install vllm # 验证安装（检查 CUDA 兼容性） python -c "from vllm import LLM; print('CUDA Available:', torch.cuda.is_available())" ``` #### 2. 模型加载 ```python from vllm import LLM # 加载 Hugging Face 模型（自动转换格式） llm = LLM( model="meta-llama/Llama-2-7b-chat-hf", tensor_parallel_size=2, # 张量并行度（需匹配 GPU 数量） gpu_memory_utilization=0.9 # GPU 内存使用率上限 ) ``` #### 3. 推理配置 ```python from vllm import SamplingParams # 设置生成参数 params = SamplingParams( temperature=0.7, top_p=0.95, max_tokens=512, stop=["\n\n"] # 停止生成标记 ) ``` #### 4. 启动推理服务 ```python from fastapi import FastAPI from vllm.entrypoints.openai import serving # 启动 OpenAI API 兼容服务 app = FastAPI() serving.add_routes(app, llm, served_model_name="llama-2-7b") # 通过 uvicorn 运行（4 GPU 示例） # uvicorn server:app --host 0.0.0.0 --port 8000 --workers 4 ``` --- ### 三、性能优化技巧 | 策略 | 效果说明 | 配置示例 | |----------------------|----------------------------|-----------------------------| | **动态批处理** | 自动合并请求 | `batch_size="auto"` | | **量化压缩** | 4-bit 权重压缩 | `quantization="awq"` | | **KV Cache 分页** | 处理超长文本 | `block_size=16` | | **多 GPU 并行** | 线性提升吞吐量 | `tensor_parallel_size=4` | --- ### 四、监控与调试 1. **实时指标查看** ```bash watch -n 1 "nvidia-smi --query-gpu=utilization.gpu,memory.used --format=csv" ``` 2. **日志分析** ```python # 启用详细日志 import logging logging.basicConfig(level=logging.INFO) ``` 3. **Prometheus 集成** ```yaml # 暴露监控指标端点 - job_name: 'vllm' metrics_path: '/metrics' static_configs: - targets: ['localhost:8000'] ``` --- ### 五、典型应用场景 1. **流式生成 API** ```python async for output in llm.generate_stream(prompts, params): print(output.text, end="", flush=True) ``` 2. **批量离线处理** ```python results = llm.generate(["巴黎是<mask>的首都"]*100, params) ``` 3. **多租户服务** ```python with llm.differentiable_seed(seed=123): # 隔离用户会话 user1_response = llm.generate(...) ``` --- ### 六、注意事项 1. **硬件要求** - 建议使用 NVIDIA A100/A40 等显存 ≥40GB 的 GPU - 需要 CUDA 11.8+ 和 cuDNN 8.9+ 2. **常见问题** - **OOM 错误**：降低 `gpu_memory_utilization` 或启用量化 - **延迟波动**：设置 `max_num_seqs=64` 限制并发数 - **模型不兼容**：使用 `model_loader="huggingface"` 显式指定加载器 --- 根据官方基准测试，vLLM 在 **A100 GPU 集群**上可实现： $$ \text{吞吐量} \geq 10,000\ \text{tokens/sec} \quad (\text{batch\_size}=256) $$ 适合需要高并发、低延迟的大规模语言模型服务部署。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值