- 博客(1)
- 收藏
- 关注
原创 llama.cpp试用
显存占用是真的低,13B vicuna int4量化,example/chat-13B.sh 正常问答交流,不到2G的占用。相比之下,vicuna7B原版int8量化,8G显卡下,cuda会OOM (原版不支持int4量化)。chatglm6B int4量化,显存占用仍然需要6G。
2023-05-13 23:22:03
825
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人