大模型显存占用计算

为了详细说明模型的参数数量和每个参数在显存中占用的空间大小，我们以 facebook OPT-6.7B 模型为例。

逐步推理计算过程：

1. 估计参数总量： OPT-6.7B 模型指一个含有大约 6.7 Billion （ 67 亿）个参数的模型。

2. 计算单个参数的显存占用： OPT-6.7B 模型默认使用 Float16 ，每个参数占用 16 位（即 2 字节）的显存。

3. 计算总显存占用 = 参数总量 × 每个参数的显存占用。

代入公式计算： 67 亿参数 ×2 字节 / 参数 =134 亿字节 =13.4×10 9 字节

4. 换算单位： 1GB = 2 30 B ≈ 10 9 字节

综上， OPT-6.7B 以 float16 精度加载到 GPU 需要使用大约 13.5GB 显存。

如果使用 int8 精度，则只需要大约 7GB 显存