chatgpt自己训练模型实现多轮问答对话

最新推荐文章于 2024-05-09 20:58:32 发布

计算机毕设论文

最新推荐文章于 2024-05-09 20:58:32 发布

阅读量456

点赞数 5

文章标签： chatgpt

本文链接：https://blog.csdn.net/weixin_55771290/article/details/137131642

版权

文章介绍了如何在V100TensorCoreGPU环境中，利用modelscope库加载预训练的通义千问模型进行多轮对话，包括加载词表、模型、封装对话函数以及在命令行界面进行交互的过程。

摘要由CSDN通过智能技术生成

这是一一个使用“通义千问-7b-chat“模型的案例，模型文件我已经上传了，现在我们使用 mdelscope 库来进行演示。

环境要求：
1.V100 Tensor Core GPU 选择这个 GPU 镜像，镜像内存 40G，32G显存，一个 GPU，才跑得起来，我在自己电脑一个 GPU 2G 显存，直接跑不起来。
2.需要安装 modelscope 库
3.transformers>=4.32.0

如果选择了最小的 GPU 镜像也可以跑起来，可能需要再加载模型使用以下代码：

from modelscope import AutoModelForCausalLM, AutoTokenizer
from modelscope import GenerationConfig

# 加载词表模型词表
tokenizer = AutoTokenizer.from_pretrained("/home/mw/input/qwen7bchat7438", trust_remote_code=True)

# 加载模型
model = AutoModelForCausalLM.from_pretrained("/home/mw/input/qwen7bchat7438", device_map="auto", trust_remote_code=True, fp16=True).eval()

# 第一轮对话 
response, history = model.chat(tokenizer, "你好，你可以介绍一下自己吗？", history=None)
print(response)

# 第二轮对话 
response, history = model.chat(tokenizer, "通义千问事你的兄弟吗？", history=history)
print(response)

# 第三轮对话 
response, history = model.chat(tokenizer, "你那些兄弟跟你区别？", history=history)
print(response)

多轮对话封装

也就是封装成函数，用起来类似网页版那种，可以手动输入

from modelscope import AutoModelForCausalLM, AutoTokenizer


# 加载词表模型词表
tokenizer = AutoTokenizer.from_pretrained("/home/mw/input/qwen7bchat7438", trust_remote_code=True)

# 加载模型
model = AutoModelForCausalLM.from_pretrained("/home/mw/input/qwen7bchat7438", device_map="auto", trust_remote_code=True, fp16=True).eval()


def chat(text, history):
    response, history = model.chat(tokenizer, text, history=history)
    return response, history


while True:
    text = input("请输入 prompt：")
    response, history = chat(text, history=None)
    print(response + '\n')