GPU运行Huggingface的大模型THUDM/chatglm3-6b

最新推荐文章于 2024-07-29 14:37:54 发布

hehui0921

最新推荐文章于 2024-07-29 14:37:54 发布

阅读量454

点赞数 3

分类专栏： huggingface 文章标签： python 前端开发语言

本文链接：https://blog.csdn.net/oHeHui1/article/details/136378297

版权

huggingface 专栏收录该内容

33 篇文章 0 订阅

订阅专栏

文章展示了如何使用预训练的THUDM/chatglm3-6b模型进行聊天交互，通过AutoTokenizer和AutoModel实现，并利用GPU加速，还演示了生成关于秋天文章的示例过程和时间计算。

摘要由CSDN通过智能技术生成

from transformers import AutoTokenizer, AutoModel
import time
tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True).half().cuda()
model = model.eval()
# response, history = model.chat(tokenizer, "你好", history=[])
# print(response)
# response, history = model.chat(tokenizer, "晚上睡不着应该怎么办", history=history)
# print(response)
# 使用 range 函数生成一个从0到9的整数序列，共10个数字
for i in range(10):
    # 在这里写入需要循环执行的代码
    a = time.time()
    response, history = model.chat(tokenizer, "写一篇秋天的文章,不少于1000字", history=[])
    print(response)
    print(time.time()-a)