大模型参数量和占的显存怎么换算？

---

1. 1B"的全称是"1 Billion"，表示十亿；而"1M"的全称是"1 Million"，表示一百万。
2. B和G都是十亿（1000M或1024M）的意思，M是100万的意思。
3. 模型参数有xB就是说有x十亿个参数。
4. 显存有多少G/M是说有多少G/M个字节（byte），1个字节=8比特（bit）。
5. 1字节（Byte）通常由8个比特组成，FP32使用4字节（32位）表示一个浮点数，而FP16使用2字节（16位）表示一个浮点数
6. 1B模型参数对应多少G内存和参数的精度有关，如果是全精度训练（fp32），一个参数对应32比特，也就是4个字节，参数换算到显存的时候要乘4，也就是1B模型参数对应4G显存，如果是fp16或者bf16就是乘2，1B模型参数对应2G显存。