山东大学软件学院创新实训VCR系统个人博客

m0_65221630

已于 2024-05-31 14:57:44 修改

阅读量430

点赞数 15

文章标签：人工智能 python 深度学习

于 2024-05-31 14:56:14 首次发布

本文链接：https://blog.csdn.net/m0_65221630/article/details/139352763

版权

本博客为山东大学软件学院2024创新实训，25组可视化课程知识问答系统（VCR）的个人博客，记载个人任务进展。

第五周：对ChatGLM3进行微调，使用

修改配置文件

ChatGLM3的本地部署时，修改配置文件是一个关键的步骤，以确保模型能够按照需求正确运行：

确定配置文件位置

首先，需要找到ChatGLM3的配置文件。这是一个.json或.yaml文件，位于ChatGLM3的源码目录中。

常见的配置项

配置文件通常包含多个配置项：

模型路径（model_path）：
- 指定预训练模型的存储位置。确保路径正确，并且模型文件已经下载到该位置。
输入/输出设置（input/output settings）：
- 你可以设置输入的最大长度、截断策略等。
- 输出设置可能包括是否返回概率分布、返回文本的最大长度等。
GPU设置（GPU settings）：
- 如果你打算使用GPU进行推理或训练，需要指定GPU的ID或使用多GPU。
- 还可以设置GPU的显存分配策略、是否使用混合精度等。
推理设置（inference settings）：
- 设置推理时的batch大小、推理模式（如greedy search、beam search等）。
- 还可以设置top_k、top_p等参数来控制生成的多样性。
日志和调试（logging and debugging）：
- 设置日志级别、日志文件的位置等。
- 还可以启用调试模式以获取更详细的错误信息。

修改配置文件

验证配置

在修改配置文件后，建议进行简单的验证以确保配置正确无误。运行ChatGLM3的示例代码或进行简单的推理测试来检查配置是否生效。

通过按照上述步骤修改ChatGLM3的配置文件，根据需求调整模型的运行参数，以便更好地满足应用场景。

运行ChatGLM3，访问和使用ChatGLM3

访问网页demo

打开浏览器：
启动你的浏览器（如Google Chrome）。
访问URL地址：
输入你在运行网页demo时得到的URL地址。如http://localhost:8080。
开始与ChatGLM3进行交互：
在网页上，看到一个输入框，用于输入问题或对话。输入问题后，点击发送或类似的按钮。ChatGLM3将处理请求，并在页面上显示回应。
继续对话：
在得到ChatGLM3的回应后，可以继续输入新的问题或继续对话。模型将基于之前的对话上下文生成新的回应。

使用命令行demo

打开命令行或终端：
根据你的操作系统，打开命令行工具（Linux上是Terminal）。
导航到ChatGLM3目录：
使用cd命令导航到ChatGLM3的源码目录，确保能够运行命令行demo的脚本。
运行命令行demo：
运行用于启动命令行demo的脚本。这通常是一个Python脚本，如cli_demo.py（注意：脚本名称可能因ChatGLM3的版本和配置而异）。

bash

python cli_demo.py

开始与ChatGLM3进行交互：
在命令行demo启动后，将看到一个提示符（如>或$），表示可以开始输入了。输入问题或对话，然后按回车键。ChatGLM3将处理请求，并在命令行中显示回应。
继续对话：
在得到ChatGLM3的回应后，可以继续输入新的问题或继续对话。模型将基于之前的对话上下文生成新的回应。

关注