为 LLM 提供服务需要多少 GPU 内存？

什么是模型服务？

模型服务是将经过训练的机器学习模型部署到生产中的过程，以便它可以用于对新数据进行预测。在大型语言模型 (LLM) 的背景下，模型服务是指使 LLM 可根据用户输入回答问题、生成文本或执行其他任务。

服务 = 提示输入，应答输出

GPU VRAM 的意义是什么，为什么 LLM 不使用 RAM？

大型语言模型 (LLM) 的运行计算成本很高。它们需要大量内存来存储模型参数和推理过程中的中间计算。系统内存 (RAM) 并不适合此用途，因为它比 GPU 内存慢。 GPU 内存也称为 VRAM（视频内存）或 GDDR（图形 DDR），专为深度学习等高性能计算任务而设计。它提供了高效运行大型语言模型所需的速度和带宽。这使得LLM能够有效地执行复杂的计算，而不会遇到内存和处理单元之间的数据传输造成的速度限制。

因此，GPU 的 VRAM 越大，它所能承载和提供的 LLM 也就越大。

Serving LLM 对 GPU 内存的要求是多少？

用来估算为 LLM 服务所需的 GPU 内存的常用公式是

• P（参数）：模型中参数的数量。例如，GPT-3有1750亿个参数，Llama-70b有700亿个参数等。

• Q（每个参数的精度或大小）：是用于存储模型参数的数据类型。常见的数据类型包括：

  • FP32（32 位浮点）：每个参数 4 个字节
  • FP16（half/BF16）（16 位浮点）：每个参数 2 个字节
  • INT8（8 位整数）：每个参数 1 个字节
  • INT4（4 位整数）：每个参数 0.5 个字节

• 开销因素(1.2)：这说明推理过程中使用的额外内存，例如存储模型的激活（中间结果）。典型的开销系数是 20%。

例如，Llama 70B 的 模型拥有 700 亿个参数。如果模型以 float32 格式存储，并假设开销系数为 20%，那么内存需求可计算如下：

要运行此模型，我们需要两个 NVIDIA A-100 80GB 内存模型。

如何减少 Serving LLM 的 GPU 内存需求？

减少 GPU 内存需求的一种方法是量化。量化是一种通过将模型参数从较高精度格式（例如 float32）转换为较低精度格式（例如 float16 甚至更低）来降低模型参数精度的技术。这可以显着减少内存使用量，而不会显着影响准确性。

在我们的 Llama 70B 示例中，使用 float16 精度代替 float32 会将内存需求减少一半（从每个参数 4 字节减少到每个参数 2 字节）。

量化有什么关系？

量化技术可以通过使用更低精度的格式（如 INT8、INT4）进一步减少内存占用，但是降低精度可能会影响输出的准确性。例如，与 FP16 相比，INT8 量化有时会导致精度下降更明显。评估模型在量化前后的性能至关重要。

概括

服务大型语言模型需要大量的 GPU 内存资源。所需的内存量取决于模型的大小和复杂性、用于存储参数的数据类型以及量化等应用的任何优化。通过了解影响 GPU 内存需求的因素，开发人员可以就如何部署 LLM 以获得最佳性能和效率做出明智的决策。