【无标题python bit】

youzj0925

已于 2024-04-27 20:39:29 修改

阅读量122

点赞数 1

文章标签： python 前端 javascript

于 2024-04-23 18:47:54 首次发布

本文链接：https://blog.csdn.net/yzj5464/article/details/138135304

版权

本文介绍了如何在Python项目中使用BitsandBytes模型库，通过`pipinstall`安装预训练的AutoModel，实现4位精度的模型加载，并展示如何利用该模型进行GPU加速的聊天交互。

摘要由CSDN通过智能技术生成

pip install bitsandbytes

from modelscope import AutoTokenizer, AutoModel, snapshot_download
model_dir = "E:\project\pythonProject1f\ZhipuAI"
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True)
#model = AutoModel.from_pretrained(model_dir, trust_remote_code=True).half().cuda()
model = AutoModel.from_pretrained(model_dir, load_in_4bit=True, trust_remote_code=True)
model = model.eval()
response, history = model.chat(tokenizer, "你好", history=[])
print(response)
response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
print(response)