ChatGLM-6B 安装和配置指南
1. 项目基础介绍和主要编程语言
项目介绍
ChatGLM-6B 是一个开源的、支持中英双语的对话语言模型,基于 General Language Model (GLM) 架构,具有 62 亿参数。结合模型量化技术,用户可以在消费级的显卡上进行本地部署(INT4 量化级别下最低只需 6GB 显存)。
主要编程语言
该项目主要使用 Python 编程语言。
2. 项目使用的关键技术和框架
关键技术
- General Language Model (GLM): 该项目基于 GLM 架构,具有强大的语言理解和生成能力。
- 模型量化技术: 通过量化技术,用户可以在消费级显卡上运行模型,降低硬件要求。
框架
- Transformers: 使用 Hugging Face 的 Transformers 库来加载和管理模型。
- PyTorch: 作为深度学习框架,用于模型的训练和推理。
3. 项目安装和配置的准备工作和详细安装步骤
准备工作
- 操作系统: 支持 Linux、Windows 和 macOS。
- Python 环境: 建议使用 Python 3.7 或更高版本。
- 硬件要求:
- 推理:INT4 量化级别下最低 6GB 显存。
- 高效参数微调:INT4 量化级别下最低 7GB 显存。
详细安装步骤
步骤 1:克隆项目仓库
首先,从 GitHub 克隆 ChatGLM-6B 项目仓库到本地:
git clone https://github.com/THUDM/ChatGLM-6B.git
cd ChatGLM-6B
步骤 2:安装依赖
使用 pip 安装项目所需的依赖:
pip install -r requirements.txt
确保 transformers
库版本不低于 4.23.1。
步骤 3:下载模型
如果你希望从本地加载模型,可以手动下载模型参数文件并将其放置在项目目录下。否则,代码会自动从 Hugging Face Hub 下载模型。
步骤 4:运行 Demo
项目提供了基于 Gradio 的网页版 Demo 和命令行 Demo。
网页版 Demo
首先安装 Gradio:
pip install gradio
然后运行网页版 Demo:
python web_demo.py
程序会运行一个 Web Server,并在浏览器中输出地址,打开该地址即可使用。
命令行 Demo
运行命令行 Demo:
python cli_demo.py
程序会在命令行中进行交互式的对话,输入指示并回车即可生成回复。
步骤 5:API 部署(可选)
如果你希望部署 API,首先安装额外的依赖:
pip install fastapi uvicorn
然后运行 API 服务:
python api.py
默认部署在本地的 8000 端口,可以通过 POST 方法进行调用。
总结
通过以上步骤,你可以成功安装和配置 ChatGLM-6B 项目,并运行其提供的 Demo 和 API 服务。希望这篇指南能帮助你顺利上手该项目。