本文探讨了如何对Internlm-chat-7b模型进行量化，包括使用KVCache量化，以及量化前后在API服务部署中显存大小的变化。量化后虽然显存有所减少，但4bit量化导致的模型性能下降显著，特别是对比bs=1和maxlen=512以及bs=8和maxlen=2048的情况。
- 完成浦语·灵笔的图文理解及创作部署（需截图）
- 完成 Lagent 工具调用 Demo 创作部署（需截图）
- 对internlm-chat-7b模型进行量化，并同时使用KV Cache量化，使用量化后的模型完成API服务的部署，分别对比模型量化前后（将 bs设置为 1 和 max len 设置为512）和 KV Cache 量化前后（将 bs设置为 8 和 max len 设置为2048）的显存大小。
原模型占用14886MB
kv量化并没有省很多显存，占用大约14758MB
4bit量化显存占用5792MB
但模型性能下降太多
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
