阿里面试官问：为什么vllm能够加快大模型推理速度？

最新推荐文章于 2025-04-26 21:07:14 发布

小马不会过河

最新推荐文章于 2025-04-26 21:07:14 发布

阅读量1.3k

点赞数 25

文章标签：知识图谱人工智能 microsoft pdf 网络

本文链接：https://blog.csdn.net/m0_59163425/article/details/144444514

版权

为什么vllm能够加快大模型推理速度？

面试题

如果对比过 vllm 进行大模型推理和直接调用模型generate 就会知道 vllm可以让推理速度比直接调用模型generate快2-4倍。

那问题来了，为什么vllm能够加快大模型推理速度？

标准答案

问题一：大模型推理存在哪些问题？

在回答该问题之前，需要先理清楚 LLMs 结构特点：

大模型一般都是采用自回归生成方式，即根据前面的语句预测下一个字的概率：

而自回归生成方式方式会存在以下问题：

问题一： KV Cache 太大

LLM 服务需要为每个请求维护一个键值（KV）缓存，用于存储模型在生成文本时的上下文信息。随着请求数量的增加，KV缓存的大小迅速增长，占用大量 GPU 内存。

对于13B 参数的模型，单个请求的 KV Cache 可能就需要数 1.6 GB的内存。这限制了同时处理的请求数量，进而限制了系统的吞吐量。

问题二：复杂的解码算法

LLM 服务通常提供多种解码算法供用户选择，如贪婪解码、采样解码和束搜索（beam search）。这些算法对内存管理的复杂性有不同的影响。

例如，在并行采样中，多个输出可以共享相同的输入提示的 KV 缓存，而在束搜索中，不同候选序列的KV缓存可以部分共享，这要求内存管理系统能够动态调整内存分配。

问题三：未知的输入和输出长度

LLM 服务的输入和输出长度是变化的，这要求内存管理系统能够适应不同长度的提示。随着请求的输出长度在解码过程中增长，所需的 KV 缓存内存也会增加，可能会耗尽用于新请求或现有的内存。

现有的 LLM 服务系统通常采用静态连续内存分配策略，会带来三个方面的内存浪费：

预留浪费（reserved）。为每个请求预留最大可能序列长度的内存，然而实际请求的长度可能远小于最大长度；
内部碎片（internal fragmentation）。内存分配的低效率还会导致内存碎片，进一步降低内存的可用性；
外部碎片（external fragmentation）。有些内存由于过小，无法使用，这些内存则直接浪费了。

问题二：vllm做了哪些优化呢？

vllm 主要对大模型推理过程采用 page attention 优化。

类似于KV Cache的问题，操作系统里也遇到过，操作系统给每个应用分配内存，到底要不要给每个程序预分配内存？程序关闭后怎么回收内存？内存碎片怎么处理？怎么最大化地利用内存？

操作系统是通过利用虚拟内存，和页管理技术来解决的，操作系统分配内存是按照最小单元页来分配，物理内存被划分为很多页，每个进程（Process）要用到的内存被映射到不同的页上。

Page attention把显存也划分为 KV block，显存按照KV block来管理KV cache，每个请求request需要的kv cache被划分到显存里不同的KV Block里，

比如，每个KV block里可以缓存四个token的KV向量，对于“中国的历史非常悠久”这5个token就对应到2个block里，这两个block在物理显存里可以是不连续的，随着大模型的推理产生了新的token，比如“中国的历史非常悠久，”里的逗号，它会继续加在未被填满的block里，直到当前的block被占满，然后vLLM再分配一个block。

可以看到vLLM克服了显存预分配的问题，不会提前占用显存，并且是按块分配，这样就减少了内存的碎片。

虚拟内存（把不连续的KV block搞的连续）：

虚拟内存就是每个请求都有一个逻辑的KV cache，在逻辑KV Cache里，显存好像是连续的，vLLM的框架会在后台维护一个逻辑KV Cache到实际显卡显存上KV Block的映射表，在进行page attention计算时，它会自动找到物理显存上block的KV向量进行计算，每个请求都有自己的逻辑KV cache，其中的prompt和生成的新的token的KV向量，看起来好像都是放在连续的显存上，方便程序操作。vLLM框架内部维护了映射表，在page attention进行计算时，获取实际显卡上的KV block里的KV向量。

比如这里看到物理显卡上显存里面的KV Block是比较混乱的，但是第一个请求“中国的历史非常悠久”和第二个请求“我喜欢学习数学和英语”，它们的逻辑KV cache里的显存都是连续的。虚拟内存的作用就是让程序在使用内存时，感觉自己使用的是连续的内存，但实际操作系统分配时却并不是连续的，这都是通过中间的映射表来实现的，vLLM将这个思想应用到了KV cache上

page attention的优点：

使用block （块）来分配内存，而不用提前分配内存，用块来分配，减少了碎片的大小。
并且使用了逻辑的KV cache，方便了代码的实现和调用。
最终将KV cache的利用率从原来的20%～40%提升到了现在的96%

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述