模型内存计算

一、目录

1. 内存计算
2. 内存计算案例
3. 显卡算力
   1B参数显存计算： n*10^9 *4(fp32) /1024^3=3.72G

LLMs加载精度	1B参数量所需显存(GB)
fp32         	3.72
fp16 / bf16   	1.86
int8	        0.93

二、实现
内存计算案例
● fp32 精度，一个参数需要 32 bits, 4 bytes.
● fp16 精度，一个参数需要 16 bits, 2 bytes.
● int8 精度，一个参数需要 8 bits, 1 byte.
内存分配： 1.模型参数 2. 梯度 3.优化器参数。

2. 内存计算案例
   LLaMA-6B为例：
   模型参数：等于参数量每个参数所需内存。
   对于 fp32，LLaMA-6B 需要 6B4 bytes = 24GB内存
   对于 int8，LLaMA-6B 需要 6B1 byte = 6GB
   梯度：同上，等于参数量每个梯度参数所需内存。
   对于 fp32，LLaMA-6B 需要 6B4 bytes = 24GB内存
   对于 int8，LLaMA-6B 需要 6B1 byte = 6GB
   优化器参数：不同的优化器所储存的参数量不同。
   对于常用的 AdamW 来说，需要储存两倍的模型参数（用来储存一阶和二阶momentum）。
   fp32 的 LLaMA-6B，AdamW 需要 6B8 bytes = 48 GB
   int8 的 LLaMA-6B，AdamW 需要 6B2 bytes = 12 GB
   除此之外，CUDA kernel也会占据一些 RAM，大概 1.3GB 左右，查看方式如下。
   综上，int8 精度的 LLaMA-6B 模型部分大致需要 6GB+6GB+12GB+1.3GB = 25.3GB 左右
3. 显卡算力
   显卡算力是什么？
   显卡算力是指显卡能够在给定时间内完成多少次浮点运算。它用于评估显卡的性能。通常被表示为每秒执行的浮点运算次数，也称为 FLOPS（Floating Point Operations Per Second）。
   计算显卡算力涉及到几个因素。首先，需要知道显卡的核心数量、时钟速度和每个核心的浮点运算单元数量。然后，将这些因素结合在一起，使用以下公式计算显卡算力：
   显卡算力 = 核心数量 x 时钟速度 x 浮点运算单元数量
   例如，如果显卡具有1280个核心，时钟速度为1400 MHz，每个核心具有两个浮点运算单元，则该显卡的算力为
   算力 = 1280 x 1400 x 2 = 3.584 TFLOPS