ChatGLM3 安装和配置指南

最新推荐文章于 2024-09-13 22:50:00 发布

朱音桃

最新推荐文章于 2024-09-13 22:50:00 发布

阅读量485

点赞数 11

本文链接：https://blog.csdn.net/gitblog_07045/article/details/142220912

版权

ChatGLM3 安装和配置指南

ChatGLM3 ChatGLM3 - 由清华大学和智谱AI联合发布的新一代对话预训练模型，具备强大的语言理解和生成能力。项目地址: https://gitcode.com/gh_mirrors/ch/ChatGLM3

1. 项目基础介绍和主要编程语言

项目介绍

ChatGLM3 是由智谱AI和清华大学 KEG 实验室联合发布的开源双语对话语言模型。该项目旨在提供一个高效、易部署的对话模型，适用于多种应用场景，如智能客服、聊天机器人等。

主要编程语言

ChatGLM3 主要使用 Python 编程语言进行开发。

2. 项目使用的关键技术和框架

关键技术

Transformers: 用于自然语言处理的开源库，提供了许多预训练模型和工具。
PyTorch: 深度学习框架，用于模型的训练和推理。
Gradio: 用于快速创建和部署机器学习模型的 Web 界面。
Streamlit: 用于构建数据科学应用程序的框架。

主要框架

Hugging Face Transformers: 提供了 ChatGLM3 模型的实现。
PyTorch: 用于模型的训练和推理。
Gradio: 用于创建 Web 界面。
Streamlit: 用于创建 Web 应用程序。

3. 项目安装和配置的准备工作和详细安装步骤

准备工作

安装 Git: 用于克隆项目仓库。
```
sudo apt-get install git
```
安装 Python 3.8 或更高版本: 项目依赖于 Python 3.8 或更高版本。
```
sudo apt-get install python3.8
```
安装 pip: Python 的包管理工具。
```
sudo apt-get install python3-pip
```

详细安装步骤

1. 克隆项目仓库

首先，使用 Git 克隆 ChatGLM3 项目仓库到本地。

git clone https://github.com/THUDM/ChatGLM3.git
cd ChatGLM3

2. 安装依赖

使用 pip 安装项目所需的依赖包。

pip install -r requirements.txt

3. 下载模型

如果网络环境较差，可以从 Hugging Face Hub 下载模型到本地。

git lfs install
git clone https://huggingface.co/THUDM/chatglm3-6b

4. 运行 Demo

项目提供了多种 Demo 供用户测试和使用。

命令行对话 Demo:
```
python cli_demo.py
```
基于 Gradio 的网页版 Demo:
```
python web_demo_gradio.py
```
基于 Streamlit 的网页版 Demo:
```
streamlit run web_demo_streamlit.py
```

5. 代码调用

可以通过以下代码调用 ChatGLM3 模型进行对话。

from transformers import AutoTokenizer, AutoModel

tokenizer = AutoTokenizer.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True)
model = AutoModel.from_pretrained("THUDM/chatglm3-6b", trust_remote_code=True, device='cuda')
model = model.eval()

response, history = model.chat(tokenizer, "你好", history=[])
print(response)

通过以上步骤，您可以成功安装和配置 ChatGLM3 项目，并开始使用其提供的功能。

ChatGLM3 ChatGLM3 - 由清华大学和智谱AI联合发布的新一代对话预训练模型，具备强大的语言理解和生成能力。项目地址: https://gitcode.com/gh_mirrors/ch/ChatGLM3