LLM推理：预填充阶段（Prefill）

最新推荐文章于 2025-04-05 17:13:06 发布
最新推荐文章于 2025-04-05 17:13:06 发布
阅读量809 收藏 1
点赞数
分类专栏： # LLM/部署&推理 文章标签： Prefill
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013250861/article/details/145381797
版权

预填充阶段（Prefill）是使用KV Cache技术进行推理时的初始阶段，其核心目标是为整个输入序列预先计算并缓存所有键（Key）和值（Value）向量，为后续解码阶段的高效生成奠定基础。以下从多个维度详细解析这一阶段：

1. 预填充阶段的作用

  • 建立初始缓存：在生成第一个输出token前，模型需处理完整的输入序列（如用户输入的提示词），计算每个Transformer层中所有输入位置的Key和Value向量，并将其存入KV Cache。

  • 避免重复计算：解码阶段生成后续token时，可直接复用预填充阶段缓存的Key/Value，无需重新计算历史token的中间结果，显著降低计算量。

2. 预填充阶段的触发时机

  • 首次生成时启动：当模型开始生成第一个输出token时，预填充阶段立即启动。

  • 仅执行一次：对于单次推理请求（如生成一段文本），预填充阶段仅在处理输入序列时运行一次

了解本专栏 订阅专栏 解锁全文 超级会员免费看
vLLM专题（十五）-解耦预填充（Disaggregated Prefilling (experimental)）
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
02-25 105
实现你自己的连接器，并调用第三方库来发送和接收 KV 缓存，以及其他更多操作（比如编辑 vLLM 的模型输入以执行自定义预填充等）。这种方法提供了最大的控制权，但也存在与未来 vLLM 版本不兼容的风险。
探索LLM推理的“闪电核”——FlashInfer详解
步子哥的博客
11-09 1006
如果你曾经玩过拼图游戏，那么你会知道每一块拼图都至关重要。LLM的注意力机制就是这些拼图中的核心部分，它决定了模型在推理过程中如何“注意”到输入的不同部分。单次请求批处理PrefillDecode和Append内核这些内核不仅支持不同格式的KV缓存（如Padded Tensor、Ragged Tensor、Page Table），还可以灵活处理不同的输入场景。
为什么大语言模型推理要分成 Prefill 和 Decode？深入理解这两个阶段的真正意义
最新发布
Harry的博客
04-05 1230
Prefill 阶段是语言模型推理中的第一个步骤，它负责处理你输入的所有上下文内容（prompt），为后续生成打下基础。“请解释一下 Transformer 的原理。这句话会被 tokenizer 编码为一串 token，比如["请", "解释", "一下", "Trans", "##former", "的", "原理", "。"]。然后这些 token 会进入 Transformer 模型进行前向传播。重点来了 👇。
LLM不同训练阶段介绍
m0_52000310的博客
02-26 1002
LLM全流程（每个流程的数据格式，训练方式……）
LLM推理加速原理（一）
laner__gg的博客
06-05 3538
输入--->正则化-->qkv三个矩阵层（映射到三个不同空间中)---->q,k,v之后self attention进行三0合一---->线性映射，正则化。
LoongServe论文解读：prefill/decode分离、弹性并行、零KV Cache迁移
weixin_45817413的博客
05-08 1万+
LoongServe论文解读。介绍了prefill、decode分离的问题背景。介绍了LoongServe如何通过使ESP实例组根据负载的变化动态地scale up或者scale down并且没有KV Cache的迁移开销。
DistServe：分解预填充和解码实现吞吐量优化的LLM服务
yorkhunter的博客
07-03 1434
24年6月来自北大、阶跃星辰（stepfun）AI创业公司和UCSD等研究机构的论文“DistServe: Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Serving”。
模型推理的Goodput指标、Prefilling和Decode阶段物理分离、DistServe
smartcat2010的博客
11-11 876
调整灵活：如果input prompt长，那就增加Prefilling的GPU数目；如果output sequence长，那就增加decoding的GPU数目；开销：KV-Cache在2个阶段的GPU之间传输。但，该开销
深入解析LLM推理：为什么Prefill是计算密集型，而Decode是内存密集型？
weixin_59989054的博客
04-04 981
LLM推理的Prefill和Decode阶段在计算和内存需求上的显著差异，源于它们处理任务的方式（并行 vs. 串行）和对核心资源（计算单元 vs. 内存带宽）的依赖程度。深入理解这一原理，不仅能帮助我们更好地认识LLM的工作机制，更是设计、部署和优化高效、经济的AI推理系统的基石。Transformer的核心是自注意力（Self-Attention）机制，它允许模型在处理序列时权衡不同部分的重要性，这涉及到大量的矩阵运算。认识到Prefill和Decode阶段的资源瓶颈差异，是进行LLM推理优化的关键。
处理Chrome预填充的问题
weixin_33958585的博客
11-30 321
设计需求: 问题 在chrome浏览器中，登录的时候会提醒是否记录密码，点击确定之后，下次再进入此页面，浏览器会自动向输入框中天充值，背景未黄色， 但是在用户和浏览器产生交互（鼠标点击等）之前，用js或取值并获取不到（预填充），这样也就出现了用户可以看到输入框中有值，但是由于js未获取到值，提交按钮还显示的灰色禁用状态 360浏览器填充是真正的填充 解决方案 <input name="us...
预填充Vue.js全局存储状态的三种方法
qq_45768871的博客
12-22 616
如果落日的余辉照射着你的双手，你发觉它们当天并没有做过有价值的事情，那你就应当把这一天看作已经失落 文章目录预填充Vue.js全局存储状态的三种方法如何在我的应用加载之前将数据添加到存储中？设置初始状态在应用挂载时请求数据在应用加载之前请求数据结语 预填充Vue.js全局存储状态的三种方法 在构建 Vue.js 应用程序时，当这些应用程序的规模扩张到一定程度后，你就可能会遇到管理全局状态的需求了。还好，他们的核心开发团队提供了 Vuex 这个便利的工具，这是 Vue.js 应用程序状态管理库的事实标..
基于Transformer架构的LLM学习记录
知识，既贵，又便宜。
07-01 1762
大语言模型的学习记录
Mistral AI：探索LLM推理的吞吐、时延及成本空间
OneFlow深度学习框架
01-24 5093
选择正确的LLM推理栈意味着选择适合你的任务的正确模型，并配以适当的推理代码在适当的硬件上运行。本文介绍了流行的LLM推理堆栈和设置，详细说明其推理的成本构成；并讨论当前的开源模型以及如何充分利用它们，同时还涉及当前开源服务栈中仍然缺失的功能，以及未来模型将解锁的新功能。本文源自MistralAI首席技术官Timothée Lacroix的演讲。他于2015年在Facebook AI Resea...
【论文解读】DistServe:Disaggregating Prefill and Decoding for Goodput-optimized Large Language Model Servi
coding乐园
04-30 2782
DistServe 通过分解预填充和解码计算来提高大型语言模型 (LLM) 服务的性能。现有的 LLM 服务系统将两个阶段colocate，并批量计算所有用户和请求的预填充和解码。我们发现这种策略不仅会导致强烈的预填充解码干扰，而且还会耦合两个阶段的资源分配和并行计划。LLM 应用程序通常强调每个阶段的单独延迟：预填充阶段的第一个token时间 (TTFT) 和解码阶段每个请求的每个输出token时间 (TPOT)。
一起理解下LLM的推理流程
python12345_的博客
10-23 1229
本文来源自Pytorch Conference 2024的talking ——本文总结和整理下其描述的基于TRT-LLM的LLM推理流程。以下是简单的LLM推理流程（下图中输入 Write me a presentation…prefill推理阶段，一开始需要输入文本转换为token id，需要依赖Tokenization：但实际LLM模型中最终拿到的是embedding向量：分词过程，由于“smart”和“smarter”是不同的单词，分词器会为它们生成不同的token ID，即使它们看起来很相似。
大型语言模型（LLM）概述
生活需要深度
11-19 600
2. 续写: 模型开始根据你给的开头, 一个接一个地生成新的词, 每生成一个新词, 它都会把前面已经生成。1. 预填充: 你给模型一个开头, 可以是几个词或一个句子,这就是"预填充"的内容。这个过程就叫"续写"。输入:"从前有座山, 山里有座庙，庙里" >>> 输出:"有"输入:"从前有座山, 山里有座庙，庙" >>> 输出:"里"输入:"从前有座山, 山里有座庙" >>> 输出:"，"输入:"从前有座山, 山里有座庙，" >>> 输出:"庙"输入:"从前有座山, 山里有座" >>> 输出:"庙"
LLM 推理框架之上：10 中常见 LLM 推理系统总结
python122_的博客
06-13 1805
在 [2302.11665] AlpaServe: Statistical Multiplexing with Model Parallelism for Deep Learning Serving 中，作者证明了当为多个模型提供服务时，即使单个模型可以放置在单个设备上，模型并行性也可以额外用于多个设备的统计多路复用。文中作者也探索了模型并行性引入的开销与利用统计多路复用来减少存在突发工作负载时的服务延迟之间的权衡。
打造高性能大模型推理平台之Prefill、Decode分离系列（一）：微软新作SplitWise，通过将PD分离提高GPU的利用率哆啦不是梦
热门推荐
qq_32204441的博客
06-05 2万+
由上图可以看到Prefill和Decode时延都会随着token的数量增多而增多，而（c）更可以看出在E2E（end-to-end）的时延中，TTFT（Prefill阶段）时延仅占一小部分，尤其在Conversation中可以看到，只产生129个tokens所花的时间都比处理1020个Prefill的token时间多的多。可以看到这两个阶段的特征完全不同，即便使用很好的batching技术，也无法解决两个如此明显不同阶段所带来的问题，比如：由于硬件资源利用不足，使得为用户提供服务将产生更高的花费。
transformer 的prefill
12-28
### Transformer 模型 Prefill 实现与工作机制 #### 1. Prefill 的定义及其重要性 Prefill 是指当给定一个新的输入序列时，模型会预先计算并缓存一部分中间状态，以便后续解码过程中可以更高效地生成输出。这种机制特别适用于自回归语言模型，在首次接收输入时完成初始化工作，从而加速推理过程。 对于基于Transformer架构的语言模型而言，prefill阶段主要涉及对输入序列的位置编码、注意力掩码以及初始隐藏状态的构建[^2]。 #### 2. Prefill 过程中的关键技术点 - **Tokenization 和 Embedding Lookup** 在接收到原始文本后，首先需要对其进行分词处理（即 tokenize），将其转化为一系列 token ID 组成的列表；接着利用预训练好的 embedding 层查找对应的 word embeddings 向量表示形式。此部分操作通常由 tokenizer 工具包自动完成。 ```python from transformers import AutoTokenizer tokenizer = AutoTokenizer.from_pretrained('model_name') input_ids = tokenizer("Hello world", return_tensors="pt").input_ids ``` - **Positional Encoding 添加** 为了使模型能够捕捉到单词之间的相对位置关系，需向每个 token 的 embedding 上附加特定模式的位置编码。这一步骤确保即使是在无序的数据集上训练得到的模型也能有效地区分不同顺序下的相同词汇组合[^3]。 - **Attention Mask 构建** 由于实际应用场景中可能存在变长输入的情况，因此还需要创建 attention mask 来屏蔽掉 padding 部分的内容，防止其干扰正常的上下文关联学习。此外，在多轮对话场景下，attention mask 可以帮助维持历史交流记录的影响范围控制[^1]。 ```python import torch # 假设 input_ids 形状为 (batch_size, seq_length) attention_mask = torch.ones_like(input_ids).masked_fill_(input_ids == tokenizer.pad_token_id, value=0) ``` - **Initial Hidden States 计算** 最后一步则是调用 encoder 或 decoder 中的第一层或多层网络单元，传入上述准备完毕的各种张量作为输入参数，以此获得整个序列经过初步变换后的 hidden states 表达。这部分结果会被保存下来供之后逐步扩展预测使用。 ```python from transformers import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained('model_name') with torch.no_grad(): outputs = model.generate( inputs=input_ids, max_new_tokens=50, do_sample=True, top_k=50, temperature=0.7, pad_token_id=tokenizer.eos_token_id, past_key_values=None # 此处设置为 None 即代表执行 prefill 操作 ) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值