LLM batch

已于 2023-12-08 17:19:58 修改
阅读量4.5k 收藏 29
点赞数 16
文章标签： batch 人工智能 大模型 LLM AIGC
于 2023-12-06 09:54:50 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shui123546yi/article/details/134823641
版权

LLM

核心内容

  1. 介绍大型语言模型(LLM)推理的基础知识，强调传统批处理策略的不足之处。
  2. 引入“连续批处理”的概念，并讨论现有批处理系统的基准测试结果，例如HuggingFace的文本生成和推理以及vLLM。
  3. 利用vLLM，用户可以实现23倍的LLM推理吞吐量，同时降低p50延时。vLLM

LLM推理的基础

简化的LLM推理图

GPT风格的模型被训练来预测给定先前tokens的下一个token(1.3 tokens ~= 1 word)。要使用它们生成文本，请向其提供prompt，然后要求它预测下一个token，将生成的token附加到提示中，然后要求其预测下一token，这样反复。为了做到这一点，在每次预测下一个token时将所有参数从RAM传输到处理器。

这个示例显示了一个假设模型，该模型支持8个tokens（T1，T2，…，T8）的最大序列长度。从prompt tokens（黄色）开始，迭代过程一次生成一个token（蓝色）。一旦模型生成序列结束标记（红色），生成循环就会停止。此示例显示了一个只有一个输入序列的batch，因此batch size为1。

内存-IO受限

LLM模型文件一般都比较大。占用内存一般是其参数的倍数关系（FP16=2字节parameter number, INT8=1字节parameter number）。比如 13B的模型FP16的占内存大约25G多，INT8的占内存13G。
对一个13B的模型1 token的output占用内存就达到1MB.最大长度是512的一个请求就占了512MB.

LLM服务的性能受到内存的限制，为内存和IO受限型memory-IO bound，计算资源不是瓶颈。就是说，当前将1MB的数据加载到GPU的计算核心所花费的时间比这些计算core对1MB数据执行LLM计算所花费的更多。这意味着LLM推理吞吐量在很大程度上取决于您可以将多大的batch放入高带宽GPU内存。参见(understand-perf），以了解更多详细信息。
在自回归解码过程中，LLM的所有输入tokens产生它们的attention key and value tensors，并且这些tensors被保存在GPU存储器中以生成下一个token。这些缓存的key and value tensors通常被称为KV缓存。

KV缓存facts

占内存大：LLaMA-13B中单个序列最多需要1.7GB。
动态分配：其大小取决于序列长度，这是高度可变和不可预测的。因此，有效地管理KV高速缓存是一个重大挑战。由于碎片和过度预留，现有系统浪费了60%-80%的内存。

优化方法

模型量化

模型量化AutoGPTQ SmoothQuant等通过将16位表示移动到8位表示来将内存使用量减半，那么可以将较大批量大小的可用空间增加一倍。
减少内存IO操作
FlashAttention 发现通过重新组织attention计算以需要更少的内存IO来显著提高吞吐量。

Continuous batching

连续批处理是另一种不需要修改模型的GPU内存优化技术。

LLM 组batch

batch推理

静态batch

GPU是大规模并行计算架构，计算速度teraflop浮点运算（A100)甚至是petaflop级（H100)范围。尽管计算量惊人，由于内存都用在了加载模型参数上，LLM推理在计算方面仍难以达到饱和。
Batching是改善这种情况的有效方法；加载一次模型参数，然后使用它们来处理许多输入序列。有效地利用了芯片的内存带宽，从而提高了计算利用率、吞吐量和降低LLM推理成本。batch能将吞吐量最高提高10倍
##组Batch类型

静态 batching

我们将这种传统的批处理方法称为静态批处理，因为在推理完成之前，批处理的大小保持不变。
在这里插入图片描述

以下是LLM推理上下文中的静态批处理示例：
使用静态批处理完成四个序列。在第一次迭代（左）中，每个序列从提示标记（黄色）中生成一个标记（蓝色）。经过几次迭代（右）后，完成的序列每个都有不同的大小，因为每个序列在不同的迭代中发出序列结束标记（红色）。即使序列3在两次迭代后完成，静态批处理意味着GPU将未被充分利用，直到批处理中的最后一个序列完成生成（在本例中，是六次迭代后的序列2）。

LLMs的batch处理相对较困难，因为batch中不同序列的生成长度与批量中最大的生成长度不同，早完成的要等最长的结束后才能释放资源，这种情况会导致GPU利用率不足。示例中S1,S2,S4就是先于S2结束

Continuous batching

nvidia的TensorRT LLM称之为in-flight-batching
书生浦语称之为Persistent Batch（下面的gif来自书生）

  • 动态批处理（dynamic batching）:系统会动态地根据输入数据的大小来决定batch的大小，以便更有效地利用计算资源。例如，如果有一些小的输入数据和一些大的输入数据，系统可能会选择将多个小的输入数据组合在一起进行处理，而单独处理大的输入数据。这样可以确保计算设备的并行处理能力被充分利用，从而提高推理速度。
  • 迭代级调度（iteration-level scheduling）迭代级调度是并行计算中的一种技术，任务的调度是在循环的迭代级别进行的。这种技术经常用于动态批处理，以优化计算资源的利用。
    在动态批处理的上下文中，可以使用迭代级调度根据当前迭代动态调整batch size。例如，如果系统检测到当前的输入batch size过大并且正在造成瓶颈，它可以决定在下一次迭代中减少batch size。相反，如果系统检测到当前的输入batch size过小并且没有充分利用计算资源，它可以决定在下一次迭代中增加batch size大小

在这里插入图片描述
动态组batch来自llmdeploy

Continuous batching不是等到一个批次中的每个序列都完成了生成，而是实现了迭代级别调度，其中批次大小由每次迭代决定。这样一旦batch中的序列有完成生成的，就可以在其位置插入新的序列，从而比静态批处理更高的GPU利用率。
使用Continuous batching完成七个序列推理。左侧显示单次迭代后的批次，右侧显示多次迭代后的批。一旦序列发出序列结束标记，我们就在其位置插入一个新序列（即序列S5、S6和S7）。这实现了更高的GPU利用率，因为GPU在开始新的序列之前不等待所有序列完成。

现实比这个简化的模型复杂一点：由于预填充阶段需要计算，并且具有与生成不同的计算模式，因此无法容易地与token的生成进行批量处理。
各个Frameworks的batch类型

batch size权衡

在LLM推理中，Batch Size、Latency和Throughput之间存在密切的关系：

  • Batch Size（批量大小）：这是一次通过模型的样本数量。较大的batch size可以提高GPU的利用率，因为更多的样本可以同时在GPU上进行计算。然而，如果batch size过大，可能会超出GPU的内存限制，也可能导致训练不稳定。用于推理的硬件必须达到高利用率, 否则推理的花费会非常高。高延迟低吞吐的场景可以将多个用户的prompts组合在一起来达到提高硬件利用率的作用。
  • Latency（延迟）：这是处理一批数据所需的时间。Latency–模型必须在合理的时间内做出响应。我们不想在开始在聊天应用程序中进行流式传输之前等待几秒钟。input tokens和解码需要不同的处理时间。增加batch size会增加延迟，因为需要处理更多的数据。然而，由于GPU的并行性，增加batch size并不一定会导致延迟成比例增加。
  • Throughput（吞吐量）：这是单位时间内处理的数据量。增加batch size通常会增加吞吐量，因为可以同时处理更多的数据。然而，如果batch size过大，可能会超出GPU的内存限制，导致吞吐量下降。一般人类每秒大概需要33tokens。可以根据不同的业务场景调整吞吐量

总的来说，Batch Size、Latency和Throughput之间的关系是一个平衡和优化的问题。需要根据你的硬件配置、模型需求和特定的性能目标（例如，最小化延迟或最大化吞吐量）来调整batch size。

参考

https://www.anyscale.com/blog/continuous-batching-llm-inference
https://github.com/NVIDIA/FasterTransformer/issues/696
https://vllm.ai
https://vllm.readthedocs.io/en/latest/
https://arxiv.org/pdf/2301.08721.pdf
https://www.anyscale.com/blog/model-batch-inference-in-ray-actors-actorpool-and-datasets
https://github.com/ray-project/llm-numbers
https://www.anyscale.com/blog/offline-batch-inference-comparing-ray-apache-spark-and-sagemaker

shui123546yi
关注
LLM - 理解 大模型 Batch 推理的 Padding Side (左填充或右填充)
AGI
07-26 1088
使用 Left Padding (左填充) 或者 Right Padding (右填充)，HuggingFace 的 transformer 库使用的 Left Padding，而 Llama 源码使用的是 Right Padding，两者各有不同，各有优势。做大模型 Batch 推理时，当请求的语句不等长时，需要使用 Padding，即填充一个无意义的 token，一般推荐 eos_token。
LLM-模型大小：GPU显卡内存大小、模型大小、精度、batch_size关系
u013250861的博客
06-11 4249
1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为：2、 每个样本需要的内存大小（）：3、基于第1/2条，对于A100显卡（80GB RAM）来说，batch_size最大可以设置为50V100不支持bf16类型A100支持bf16类型优化器参数量其中，theta表示待更新的参数，g表示梯度，t表示当前的时间步，beta1和beta2分别是梯度一阶矩估计和二阶矩估计的指数衰减率，epsilon是为了数值稳定性而添加到分母的小数值。
一文贯通LLM推理相关知识【上下文长度、量化、模型大小】
阿里武的技术博客
08-23 1918
Int4量化模型与float16模型相比，精度损失在 1 - 2 个百分点左右。（Yi模型与Baichuan2模型有类似的结论）Int8量化模型性能与float16格式差别不大。vllm最方便使用 适合操作。8 常见LLM用GPU参考。
LLM 大模型学习：LLM 大模型并行计算_llm 并行计算
2401_86518761的博客
10-24 971
文 Mia / 叶娇娇 推理优化部署、推理加速技术是现在，尤其在大模型时代背景之下，消费级 GPU 和边端设备仍为主流的状况下。推理加速是实际工程落地的首要考虑因素之一，今天笔者来聊聊涉及到的可以实现大模型推理加速的技术。
VLLM调优
最新发布
qq_46059596的博客
03-24 1607
vLLM 是一个高效的大模型推理框架，专为优化显存利用和高吞吐量设计。如果需要更具体的代码框架示例，可以进一步说明你的使用场景（如多GPU部署、API服务等）！这些代码需要在加载模型时一次性配置，且必须在调用。（如模型加载参数、显存优化、并行策略等）必须写在。（如解码策略、生成长度等）则在调用。部分系统级配置（如环境变量）需在。在 vLLM 中，所有与。
万字长文串烧LLM大模型技术原理
python1234567_的博客
11-12 928
最近平时工作可以说是把脑子想“干”了，所以花大概三个周末完成了这篇接近2w字的文章。写完感觉有很多不足，但还是随便找个时间发了吧。其一是，本来是打算从Llama 3这种优质开源模型和报告出发，进行一些知识上的梳理，结果行文时几乎保留了论文原来的结构，导致前一个知识点到下一个知识点不够丝滑；其二是，由于水平不够和“综合性”考量的限制，所以对很多需要深入的知识没有详尽。后面几个周末也许还会持续迭代一下本文，主要是继续细化技术点。所以也恳请诸位指出错误或不足，尽情提出需要补充内容的部分。​。
AI菜鸟向前飞 — LLM简介
2401_82469710的博客
05-11 1582
AI菜鸟向前飞 — LLM简介
BatchLLM：离线大 Batch 场景 LLM 推理优化
m0_59235945的博客
12-10 1620
LLM 在各类信息处理等任务中的应用场景越来越多。许多此类任务以大规模批处理或离线方式执行，相应更关注的性能指标为吞吐量。这些任务通常存在前缀共享（Prefix Sharing）的特性，即不同 Prompt 输入间存在部分共同前缀（Token）。然而，现有 LLM 推理引擎主要针对在线推理，更多聚焦在优化流式请求，对具备前缀共享特性的大批量任务支持有限。当前的解决方案主要采用基于 LRU 的缓存机制，以复用请求间的共同前缀的 KV Cache。
LLM的batch generate
sanjinpal的博客
03-17 461
在使用MLLM做推理的时候，为了加快推理速度，在batchsize=8的情况下进行推理，但生成的文本成乱码。发现是padding_side的问题，decoder-only的LLM因为是紧接着prompt的文本生成，padding_side应该取left。而encoder-decoder的模型是在encoder编码的向量输入下生成，因此padding_side应该取right。注意padding_side取left。
LLM学习笔记（14）批量处理（Batch Processing）
qq_40525602的博客
12-05 1167
在机器学习（尤其是深度学习）中，
LLM 大模型学习必知必会系列(四)：LLM训练理论篇以及Transformer结构模型详解
丨汀、的博客
05-17 1128
LLM 大模型学习必知必会系列(四)：LLM训练理论篇以及Transformer结构模型详解
Python产生batch数据的方法
技术的点点滴滴
10-21 1万+
产生batch数据 输入data中每个样本可以有多个特征，和一个标签，最好都是numpy.array格式。 datas = [data1, data2, …, dataN ], labels = [label1, label2, …, labelN]， 其中data[i] = [feature1, feature2,…featureM], 表示每个样本数据有M个特征。 输入我们方法的数据，all_...
LLM系列(2)：开源LLM Promp调优之道进阶指南
丨汀、的博客
04-30 837
LLM系列(2)：开源LLM Promp调优之道进阶指南
LLM - model batch generate 生成文本
BITDDD小栈
07-31 7192
LLM model generate batch 批量生成与参数详解。
Continuous Batching：解锁LLM潜力！让LLM推断速度飙升23倍，降低延迟！
Paper weekly
10-14 1156
©作者 | 时空猫的问答盒单位 | 北京大学本文介绍一篇 LLM 推理加速技术相关的文章，值得读一读。LLMs 在现实应用中的计算成本主要由服务成本所主导，但是传统的批处理策略存在低效性。在这篇文章中，我们将告诉你，为什么 Continuous Batching 连续批处理成为了解决这一问题的新方法，而不再把 LLMs 视为“黑匣子”。这个技术如何利用内存，而不是计算能力，来实现 10 倍以上的性...
大模型推理核心技术：Continuous Batching详解
zenRRan的博客
01-19 7235
作者：方佳瑞，腾讯 · Principal Software Engineer，清华大学计算机科学与技术博士个人主页：https://fangjiarui.github.io整理：青稞AIContinuous Batching现已成为大型模型推理框架的关键技术，也是框架性能优化的主战场。通过将多个在线请求进行批处理（Batching），可以提高 GPU 的使用效率。在 Transformer 出现...
掌握大型语言模型（LLM）技术：推理优化
wdn blog
12-03 4895
大模型（LLM）推理优化技术整理。
Batch（合批）全面讲解（一）
lzhq1982的专栏
04-26 2万+
批处理（Batch）就是对某对象进行批量的处理，本篇文章给大家介绍一下Batch的基本概念、Batch的特点和导致Draw call性能开销的主要原因。 什么是Batch Batch翻译成中文一般我们称之为“批次”。我们经常用引擎每帧提交的批次数量来作为衡量渲染压力的指标。 调用一次渲染API的绘制接口（如：Direct3D的DrawPrimitive/DrawIndexedPr...
batch size设置技巧 谈谈batchsize参数
热门推荐
张齐贤的博客
03-30 15万+
深度学习中经常看到epoch、 iteration和batchsize，下面按自己的理解说说这三个的区别： （1）batchsize：批大小。在深度学习中，一般采用SGD训练，即每次训练在训练集中取batchsize个样本训练； （2）iteration：1个iteration等于使用batchsize个样本训练一次； （3）epoch：1个epoch等于使用训练集中的全部样本训练一次； 举个例子...
llm reranker
03-18
<think>好的，用户让我介绍一下LLM Reranker。首先，我需要明确什么是LLM Reranker。根据之前的知识，Reranker通常是在信息检索或搜索系统中用于对初步检索结果进行重新排序的组件，以提高结果的相关性。而LLM指的是大语言模型，如GPT、BERT等。所以LLM Reranker应该是利用大语言模型来优化搜索结果排序的技术。 接下来，我需要验证这个理解是否正确。可能需要查阅相关文献或资料，确认LLM Reranker的具体应用场景和工作原理。例如，传统检索系统可能先用BM25或者向量检索得到候选文档，然后用Reranker进一步精排。而使用LLM作为Reranker，可能通过计算查询和文档的相关性分数，或者生成一些特征来进行排序。 然后，我需要考虑用户可能的背景。他们可能对信息检索有一定了解，但不熟悉最新的LLM应用。需要解释清楚LLM Reranker的优势，比如为什么比传统方法好，具体如何实现，以及实际应用中的效果。 还需要注意用户的问题结构，是否希望了解技术细节、应用案例，还是比较不同Reranker方法的差异。根据用户的问题，可能更倾向于概述性的介绍，包括定义、工作原理、优势、应用场景等。 另外，要确保回答符合系统级指令，比如数学公式的正确使用。例如，在解释相关性评分时，可能需要用到公式，如$$P(relevant|q,d)$$，需要用$$包裹并单独成段。同时，行内公式如$s(q,d)$需要正确格式。 还需要检查是否有混淆概念的地方，比如LLM作为Reranker和传统的神经网络排序模型（如BERT-based Cross-Encoder）的区别。需要指出LLM的参数量更大，生成能力更强，可能通过指令微调或zero-shot方式应用。 最后，组织回答结构，分点说明，确保逻辑清晰，用户容易理解。可能需要包括定义、工作原理、优势、应用场景、挑战等部分，每个部分简明扼要。</think>好的！我将为您介绍LLM Reranker的相关知识，并尽量分步骤解释。 --- ### 1. **什么是LLM Reranker？** **LLM Reranker**（大语言模型重排序器）是一种利用**大语言模型**（Large Language Model, LLM）对初步检索结果进行重新排序的技术。它通常应用于信息检索系统（如搜索引擎、问答系统）中，通过LLM对候选文档或答案的相关性进行精细化评分，从而优化最终排序结果。 --- ### 2. **为什么需要Reranker？** 在传统检索流程中，系统通常分两步： 1. **召回（Retrieval）**：快速从海量数据中筛选出少量候选（如使用BM25、向量检索）。 2. **排序（Ranking）**：对候选结果进行精细化排序。 传统排序模型（如TF-IDF、简单神经网络）可能无法捕捉复杂语义关联，而**LLM Reranker**通过其强大的语义理解能力，显著提升排序准确性。 --- ### 3. **工作原理** LLM Reranker的核心是**利用LLM计算查询（Query）与候选文本（Document）的相关性分数**，典型流程如下： 1. **输入格式**：将查询$q$和文档$d$拼接为特定模板，例如： $$ \text{Query: } q \quad \text{Document: } d \quad \text{Relevant: [MASK]} $$ 2. **相关性评分**：通过LLM预测相关概率（如填充`[MASK]`为“Yes”/“No”的概率）。 3. **重排序**：按分数对候选文档降序排列，输出最终结果。 --- ### 4. **与传统方法的对比** | 方法 | 优点 | 局限性 | |---------------------|-----------------------------|--------------------------| | **传统Reranker** | 计算速度快，资源消耗低 | 语义理解能力有限 | | **LLM Reranker** | 语义理解强，支持复杂上下文推理 | 计算成本高，需优化推理效率 | --- ### 5. **关键技术点** - **Prompt设计**：模板需引导LLM关注相关性，例如： > *“判断以下文档是否与问题相关：问题：{q} 文档：{d} 相关与否？”* - **高效推理**：使用模型压缩（如量化）、批处理（Batch Inference）降低延迟。 - **微调策略**：对特定领域数据微调LLM，提升领域相关性判断能力。 --- ### 6. **应用场景** 1. **搜索引擎**：提升长尾查询结果的准确性。 2. **问答系统**：从多候选答案中筛选最优解。 3. **推荐系统**：基于用户历史行为重排序推荐内容。 --- ### 7. **挑战与解决方案** - **计算开销**：通过蒸馏小模型、缓存机制缓解。 - **延迟问题**：使用异步处理或两阶段（粗排+精排）架构。 - **模型偏见**：引入人工反馈强化学习（RLHF）进行纠偏。 --- ### 8. **示例代码逻辑** ```python # 伪代码：基于LLM的Reranker def llm_reranker(query, candidates, llm_model): scores = [] for doc in candidates: prompt = f"Query: {query}\nDocument: {doc}\nRelevant:" score = llm_model.predict(prompt, target_token="Yes") scores.append(score) reranked = sorted(zip(candidates, scores), key=lambda x: -x[1]) return reranked ``` --- ### 总结 LLM Reranker通过结合大语言模型的深度语义理解能力，显著提升了检索系统的效果，尤其适合对相关性要求高的场景。未来随着LLM轻量化技术的发展，其实用性将进一步提高。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值