Calculating GPU memory for serving LLMs

我需要多少个GPU才能运行Llama 70B？为了回答这个问题，你需要知道大型语言模型需要多少GPU内存。

公式很简单：

符号	描述
M	以千兆字节表示的GPU内存
P	模型中的参数数量。例如，一个7B模型有70亿个参数。
4B	4字节，表示每个参数使用的字节
32	4字节中有32位
Q	应使用多少位来加载模型。例如，16位，8位或4位。
1.2	代表在GPU内存中加载额外内容的20%开销。

现在让我们试试一些例子。

为服务Llama 70B所需的GPU内存

让我们试试为Llama 70B加载16位。这个模型有700亿个参数。

那可是相当大的内存。单个A100 80GB可能不够，尽管2个A100 80GB应该足够支持16位模式下的Llama 2 70B模型。

如何进一步减少Llama 2 70B所需的GPU内存？

量化是一种减少内存占用的方法。量化通过将模型参数的精度从浮点数降低到较低位表示，如8位整数，来实现这一点。这个过程显著降低了内存和计算需求，使得模型能够更有效地部署，特别是在资源有限的设备上。然而，它需要仔细管理以维持模型的性能，因为降低精度可能会影响输出的准确性。

总的来说，大家普遍认为8位量化的性能与使用16位相似。然而，4位量化可能会对模型性能产生明显影响。

让我们再来一个例子，我们使用4位量化的Llama 2 70B:

这是你可以在2个L4 24GB的GPU上运行的东西。