大语言模型LLM基础：推理/不同模型/量化对显存、推理速度和性能的影响

于 2024-06-29 09:44:56 发布
阅读量2k 收藏 34
点赞数 17
文章标签： 语言模型 人工智能 自然语言处理
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45498383/article/details/140058934
版权

通过本文，你将了解以下几个方面的内容：

  • 要运行一个LLM需要多少显存？（我的GPU可以运行多大LLM？）
  • 不同LLM推理速度如何？
  • 量化对显存、推理速度和性能的影响？
  • vLLM、DeepSeed等工具的加速效果如何？
  • 上下文、batch-size对显存和推理的影响？

本文内容和测试数据主要来自Qwen，零一万物，Nvidia等官方材料（相关文档请查看参考资料部分）。

1. 不同参数量LLM推理需要多少显存？

实验设置：batch-size = 1
部分模型只推荐GPU，没有显存数据。

1.1 低配使用（计算资源有限）

Int4量化，约2K上下文

模型（int4）所需显存 (GB)推荐GPU参考模型
0.5B<5GQwen2-0.5B-Instruct
1.5B<3GQwen-1_8B-Chat, Qwen2-1.5B-Instruct
6B4GYi-6B-Chat-4bits
7B<11GQwen2-7B-Instruct，Qwen-7B-Chat-Int4
14B13GQwen-14B-Chat-Int4
34B20GYi-34B-Chat-4bits
57B<35GQwen2-57B-A14B-Instruct
72B<47GQwen2-72B-Instruct
130B-8 * RTX 2080 Ti(11G) 4 * RTX 3090(24G)GLM-130B
236B130G8xA100(80G)DeepSeek-V2-Chat

1.2 标配使用（性能与资源平衡）

Int8量化，4K、6K上下文

模型（int8）所需显存 (GB)推荐GPU参考模型
0.5B6GQwen2-0.5B-Instruct
1.5B8GQwen2-1.5B-Instruct
6B8GYi-6B-Chat-8bits
7B14GQwen2-7B-Instruct
14B27GQwen-14B-Chat-Int8
34B38GYi-34B-Chat-8bits
57B117G (bf16)Qwen2-57B-A14B-Instruct
72B80GQwen2-72B-Instruct
130B-8xRTX3090 (24G)GLM-130B
236B490G (fb16)8xA100 (80G)DeepSeek-V2-Chat
340B-16xA100(80G) 16xH100(80G) 8xH200Nemotron-4-340B-Instruct

1.3 高配使用（高级用法，性能优先）

性能优先，不量化，数据格式FB16，32K上下文

模型（fb16）所需显存 (GB)推荐GPU参考模型
0.5B27GQwen2-0.5B-Instruct
1.5B30GQwen2-1.5B-Instruct
6B20GYi-6B-200K
7B43GQwen2-7B-Instruct
14B39G (8k)Qwen-14B-Chat
34B200G (200k)4 x A800 (80G)Yi-34B-200K
57B117GQwen2-57B-A14B-Instruct
72B209GQwen2-72B-Instruct

若以上内容无法帮助你做出判断，你可以参考Qwen官网更详细的数据：Qwen速度基准

2. Batch Size和量化对显存的影响

要点：

  • Batch Size增加，显存占用也会增加。
  • 量化可以节省显存：通过下表中的数据可以看到，6B模型在float16时占用12G显存，8bit量化占用7G，4bit量化只需要4G显存。
Modelbatch=1batch=4batch=16batch=32
Yi-6B-Chat12 GB13 GB15 GB18 GB
Yi-6B-Chat-8bits7 GB8 GB10 GB14 GB
Yi-6B-Chat-4bits4 GB5 GB7 GB10 GB
Yi-34B-Chat65 GB68 GB76 GB>80 GB
Yi-34B-Chat-8bits35 GB37 GB46 GB58 GB
Yi-34B-Chat-4bits19 GB20 GB30 GB40 GB

数据来源：Yi-6B-Chat

3. 上下文长度对显存和推理速度的影响

要点：

  • 上下文越长，推理速度越慢。
  • 显存占用也会增加。
输入长度（上下文）推理速度 (Tokens/s)GPU占用
137.9714.92
614434.7420.26
1433626.6327.71
3072017.4942.62

数据整理自Qwen2官方测试报告。

4. 量化对推理速度的影响

要点：

  • 量化后推理速度会变慢或持平。
  • 当量化影响到GPU使用量时，例如从多张GPU降低到单GPU，推理速度会明显变快。

Qwen2模型的测试结果如下：

  • Qwen2-0.5B模型：量化模型速度变慢。
  • Qwen2-1.5B模型：量化与fb16相比速度持平。
  • Qwen2-7B模型：稍微变慢，使用vLLM时，量化版本更快。
  • Qwen2-72B模型：速度变快（尤其是Int4量化后，从2GPU变为1GPU后推理速度明显变快），但使用长context时（120k），量化版本推理速度变慢。

详细结果请访问：Qwen速度基准

5. 参数量对推理速度的影响

单位：tokens/s

推理工具0.5B1.5B7B72B
Transformers50.8340.8634.745.99
vLLM256.16166.2376.4127.98
vLLM 速度提升倍数5.04倍4.07倍2.20倍4.67倍

模型：Qwen2系列，上下文6K，FB16模型

6. vLLM、DeepSeed、CTranslate2等工具推理速度如何？

  • 与Transformers相比，使用vLLM、DeepSeed等工具加速，推理速度可以提升2到5倍。
  • DeepSeed、vLLM、CTranslate2三个加速工具中，CTranslate2的表现更好，尤其是batch size为1时。

在这里插入图片描述

7. 量化对模型性能的影响

  • Int8量化模型性能与float16格式差别不大。量化文档
    在这里插入图片描述
  • Int4量化模型与float16模型相比，精度损失在1-2个百分点左右。（Yi模型与Baichuan2模型有类似结论）Baichuan2

8. 常见LLM用GPU参考

GPU显存
H200141GB
H100, H80080GB
A100, A80080GB
A10040GB
V10032GB
RTXA600048GB
RTX4090, RTX3090, A10, A3024GB
RTX407012GB
RTX30708GB

参考资料

  1. Qwen速度基准
  2. Qwen-1_8B-Chat
  3. Qwen-7B-Chat-Int8
  4. Qwen-14B-Chat-Int8
  5. Yi-6B-Chat
  6. GLM-130B量化
  7. Nemotron-4-340B-Instruct
  8. DeepSeek-V2-Chat
  9. Zenn文章
  10. Baichuan2
sagima_sdu
关注
  • 17
    点赞
  • 踩
  • 34
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
大语言模型LLM：微调、量化、推理.zip
07-25
大语言模型LLM：微调、量化、推理.zip
大模型学习资料：LLM大语言模型的学习路径和各种最佳实践
12-19
大模型学习资料：大语言模型的学习路径和各种最佳实践，包含大模型推荐、大语言模型原理解读、没有训练大模型的条件应该如何训练、大模型相关的论文列表、大模型相关的论文解读，非常全的资料和学习路线，目前大模型的资料不多，这可能是比较齐的一份。
LLM大模型显存计算
weixin_40777649的博客
01-12 4629
1b(10亿)个模型参数，约占用4G显存(实际大小：10^9 * 4 / 1024^3 ~= 3.725 GB)，那么LLaMA的参数量为7b，那么加载模型参数需要的显存为：3.725 * 7 ~= 26.075 GB。综上，int8 精度的 LLaMA-6B 模型部分大致需要 6GB+6GB+12GB+1.3GB = 25.3GB 左右。例如，如果显卡具有1280个核心，时钟速度为1400 MHz，每个核心具有两个浮点运算单元，则该显卡的算力为。int8 的 LLaMA-6B，AdamW 需要 6B。
[NLP]LLM 训练时GPU显存耗用量估计
热门推荐
摩登都市天空---专栏
08-12 1万+
32位存储的意思就是1个参数用32个bit来存储。那么这个拥有1M参数量的模型所需要的存储空间的大小即为：1M * 32 bit = 32Mb = 1M * 4Byte = 4MB。现在的quantization技术就是减少参数量所占的位数：比如我用16位存储，那么：所需要的存储空间的大小即为：1M * 16 bit = 16Mb = 2MB。GPT-2含有1.5B个参数，如果用fp16格式，只需要1.5G*2Byte=3GB显存, 但是模型状态实际上需要耗费1.5B*16=24GB.
深入解析大语言模型显存占用：训练与推理
十一月廿七风雨大作
03-27 5130
本篇文章将帮助你优雅又快速地拒绝老板。看完本篇《深入解析大语言模型显存占用：训练与推理》，你将对模型占用显存的问题有个透彻的理解。
模型量化优化的解决方案
互联网知识分享
12-16 264
量化优化可以大大减小模型的体积，提高模型的推理速度，使得模型更适合在嵌入式设备、移动端等资源受限的场景中部署和运行。模型量化优化是一种有效的模型优化手段，可以在不影响模型精度的情况下大大减小模型的体积，提高模型的推理速度。在实际应用中，模型量化优化需要根据具体的场景和需求进行调整和优化。通过不断的研究和实践，相信模型量化优化技术将会得到进一步的发展和完善，为深度学习模型的部署和应用提供更加高效和可靠的解决方案。模型量化优化是指通过减少模型参数的位数，从而减小模型的计算量和内存占用，同时提高模型的推理速度。
5个实用提速深度学习模型的方法
soaring_casia的专栏
08-23 1321
您是否通过深度学习模型获得了良好的准确性，却发现推理时间不足以部署到生产环境中？您是否对如何优化模型的推理速度迷失了方向？那么这篇文章是给你的。众所周知，数据科学项目有一个奇特的特性，即项目者需要不断转换关注重点，根据业务或项目的不同需求。下面罗列了一些具体的关注点： 数据集是如何获取的？是否是自己创建的数据集？（如果是自己的数据集，那么准确的标签是什么？任务中需要使用的样本需要多少？） 如何将模型充分利用到实际项目中来？即使一个模型很好，但是如何将这个模型投入到实际项目中？ 你将
深度学习实战——模型推理优化（模型压缩与加速）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
05-29 8305
本篇博客主要介绍几种模型推理优化方法的原理，并进行了代码实践与优化（内含代码与数据集）。
Qwen2的各模型性能、占用显存和推理速度比较（摘自官方文档）
最新发布
大模型天花板
06-15 7040
Qwen2的各模型性能、占用显存和推理速度比较（摘自官方文档） 性能 推理速度（从大到小） 72B 57B-A14B 7B 1.5B 0.5B
Qwen72B-int4 服务器部署（服务器部署 和 web交互部署）
2203_76105805的博客
05-08 2540
我这里用的是算力云 选择的是两张4090 扩容是50G进入终端输入命令切换文件 cd autodl-tmpcurl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh sudo apt-get update sudo apt-get install git-lfs1.pip install "transformers>=4.32.0" accelerate tiktoken einops scipy tra
大语言模型LLM的一些点
远洋号
08-13 1720
LLM发展史GPT模型是一种自然语言处理模型，使用Transformer来预测下一个单词的概率分布，通过训练在大型文本语料库上学习到的语言模式来生成自然语言文本。GPT-1(117亿参数)，GPT-1有一定的泛化能力。能够用于和监督任务无关的任务中。GPT-2(15亿参数），在生成方面表现出很大天赋，阅读摘要、聊天、续写、编故事。GPT-3(1750亿参数)，作为一个自监督模型，可以完成自然语言处...
大模型（大型语言模型，LLM）
DrD2022的博客
07-25 1326
GPT-3 是“Generative Pre-trained Transformer 3”的缩写，是迄今为止最先进的语言模型之一，拥有数量惊人的参数（1750 亿）。这些参数代表模型在预训练阶段获得的“知识”或“经验”，在预训练阶段模型会接触到来自互联网的大量文本数据。大型语言模型，也称为“大规模语言模型”，是指旨在处理和理解人类语言的人工智能（AI）模型。这些模型是更广泛的自然语言处理 (NLP) 领域的一部分，能够执行各种与语言相关的任务，例如文本生成、翻译、情感分析、语言理解、问答等。
最全的开源 LLM （大语言模型）整理.zip
09-04
3. **最全的开源LLM（大语言模型）**: 这个资源集合了多种开源的大型语言模型，包括但不限于GPT系列、BERT、T5、XLM等，这些模型在规模、性能和多样性上都有显著的特点。 【详细知识点】: 1. **GPT系列**：由Open...
一个基于 Python 的 LLM (大语言模型) 快速推理和服务框架，GPU利用率大幅提升
08-05
一个基于 Python 的 LLM (大语言模型) 推理和服务框架，以其轻量级设计、易于扩展和高速性能而著称。 利用了众多备受推崇的开源实现的优势，包括但不限于 FasterTransformer、TGI、 VLLM 和FlashAttention - 三进程...
量化LLM微调工具：用于量化微调大规模语言模型(LLM)的工具
11-18
QLoRA是一个用于量化微调大规模语言模型(LLM)的工具。它提供了有效的方法和技巧来进行LLM的微调，使得模型在特定任务上能够更好地适应和表现。QLoRA为量化LLM的研究和实践提供了一个有力的工具。
LLM-模型大小：GPU显卡内存大小、模型大小、精度、batch_size关系
u013250861的博客
06-11 2781
1、训练时模型本身参数、梯度值、优化器参数值需要的内存大小为：2、 每个样本需要的内存大小（）：3、基于第1/2条，对于A100显卡（80GB RAM）来说，batch_size最大可以设置为50V100不支持bf16类型A100支持bf16类型优化器参数量其中，theta表示待更新的参数，g表示梯度，t表示当前的时间步，beta1和beta2分别是梯度一阶矩估计和二阶矩估计的指数衰减率，epsilon是为了数值稳定性而添加到分母的小数值。
推理优化：从量化到裁剪，提高模型性能
禅与计算机程序设计艺术
12-26 156
1.背景介绍 在深度学习模型的应用中，优化模型性能至关重要。模型性能的优化主要包括两个方面：训练阶段的优化和推理阶段的优化。训练阶段的优化主要通过优化算法、优化器、学习率等手段来提高模型的准确性和训练速度。而推理阶段的优化则主要通过对模型进行压缩、剪枝等手段来提高模型的推理速度和模型大小，从而实现在资源有限的设备上进行更高效的模型推理。
通义千问2(Qwen2)大语言模型在PAI-QuickStart的微调、评测与部署实践
科技很有意思
06-14 1995
快速开始（PAI-QuickStart）是阿里云人工智能平台PAI的产品组件，它集成了国内外 AI 开源社区中优质的预训练模型，涵盖了包括大语言模型，文本生成图片、语音识别等各个领域。通过 PAI 对于这些模型的适配，用户可以通过零代码和 SDK 的方式实现从训练到部署再到推理的全过程，大大简化了模型的开发流程，为开发者和企业用户带来了更快、更高效、更便捷的 AI 开发和应用体验。
2080ti深度学习
09-17
2080ti是一款由英伟达公司推出的显卡，被广泛应用于深度学习领域。深度学习是一种基于人工神经网络的机器学习方法，用于处理大规模数据和解决复杂问题。2080ti在深度学习中具有以下优点： 首先，2080ti具备强大的计算能力。它采用了图灵架构，拥有4352个CUDA核心、11GB的高速显存和616GB/s的内存带宽。这种强大的硬件配置使得2080ti能够高效地处理深度学习任务，加快模型训练的速度。 其次，2080ti支持深度学习所需的高精度浮点运算。它采用了Turing Tensor Cores技术，可以加速混合精度计算，大幅提升深度学习模型的训练速度和效率。这对于处理复杂的神经网络和大规模数据集非常重要。 此外，2080ti还具备较高的显存容量和带宽，能够在处理大规模数据集时提供更好的性能。这对于一些需要处理大量训练数据的深度学习任务尤为重要，能够支持更大规模的模型和更复杂的算法。 最后，2080ti还支持NVLink技术，可以将多张2080ti显卡进行连接，形成GPU集群，提高计算能力和内存容量，进一步加速深度学习任务的处理速度。 总之，2080ti是一款适合深度学习的高性能显卡，它的强大计算能力、高精度浮点运算支持、大显存容量和高带宽等特性，使得它成为许多深度学习研究者和工程师的首选，能够加速深度学习任务的训练和应用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

sagima_sdu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值