书生实战营进阶岛第3关

未使用量化：

1、在 BF16 精度下，7B模型权重占用14GB：70×10^9 parameters×2 Bytes/parameter=14GB

2、kv cache占用8GB：剩余显存24-14=10GB，kv cache默认占用80%，即10*0.8=8GB

3、其他项1GB

是故23GB=权重占用14GB+kv cache占用8GB+其它项1GB

修改kv cache占用之后：

1、在 BF16 精度下，7B模型权重占用14GB

2、kv cache占用4GB：剩余显存24-14=10GB，kv cache修改为占用40%，即10*0.4=4GB

3、其他项1GB

是故19GB=权重占用14GB+kv cache占用4GB+其它项1GB

W4A16 模型量化部署：

模型大小:

显存占用情况:

1、在 int4 精度下，7B模型权重占用3.5GB：14/4=3.5GB
2、kv cache占用16.4GB：剩余显存24-3.5=20.5GB，kv cache默认占用80%，即20.5*0.8 = 16.4GB

3、其他项1GB

是故20.9GB=权重占用3.5GB+kv cache占用16.4GB+其它项1GB

同时使用：

1、在 int4 精度下，7B模型权重占用3.5GB：14/4=3.5GB
2、kv cache占用16.4GB：剩余显存24-3.5=20.5GB，kv cache占用40%，即20.5*0.4=8.2GB
3、其他项1.8GB
是故13.5GB=权重占用3.5GB+kv cache占用8.2GB+其它项1.8GB

Function call: