GPU运行Huggingface的大模型THUDM/chatglm3-6b

hehui0921

于 2024-02-29 18:39:54 发布

阅读量561

点赞数 3

分类专栏： huggingface 文章标签： python 前端开发语言

本文链接：https://blog.csdn.net/oHeHui1/article/details/136378297

版权

文章展示了如何使用预训练的THUDM/chatglm3-6b模型进行聊天交互，通过AutoTokenizer和AutoModel实现，并利用GPU加速，还演示了生成关于秋天文章的示例过程和时间计算。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

from transformers import AutoTokenizer, AutoModel
import time
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True

最低0.47元/天解锁文章