GLM-4 开源项目使用教程
1. 项目的目录结构及介绍
GLM-4 项目的目录结构如下:
GLM-4/
├── basic_demo/
├── composite_demo/
├── finetune_demo/
├── intel_device_demo/
├── resources/
├── .gitignore
├── LICENSE
├── README.md
├── README_en.md
目录结构介绍
- basic_demo: 包含使用
transformers
和vLLM
后端的交互代码,以及 OpenAI API 后端交互代码和 Batch 推理代码。 - composite_demo: 包含 GLM-4-9B-Chat 以及 GLM-4V-9B 开源模型的完整功能演示代码,展示了 All Tools 能力、长文档解读和多模态能力。
- finetune_demo: 包含 PEFT (LORA P-Tuning) 微调代码和 SFT 微调代码。
- intel_device_demo: 包含与英特尔技术团队合作改进的 ITREX 和 OpenVINO 部署教程。
- resources: 包含项目相关的资源文件。
- .gitignore: Git 忽略文件配置。
- LICENSE: 项目许可证文件,遵循 Apache 2.0 协议。
- README.md: 项目的中文介绍文档。
- README_en.md: 项目的英文介绍文档。
2. 项目的启动文件介绍
basic_demo 启动文件
在 basic_demo
目录下,主要的启动文件包括:
- basic_demo.py: 使用
transformers
和vLLM
后端的交互代码。 - openai_api_demo.py: 使用 OpenAI API 后端交互代码。
- batch_inference_demo.py: Batch 推理代码。
composite_demo 启动文件
在 composite_demo
目录下,主要的启动文件包括:
- composite_demo.py: 完整功能演示代码,展示了 All Tools 能力、长文档解读和多模态能力。
finetune_demo 启动文件
在 finetune_demo
目录下,主要的启动文件包括:
- peft_finetune_demo.py: PEFT (LORA P-Tuning) 微调代码。
- sft_finetune_demo.py: SFT 微调代码。
intel_device_demo 启动文件
在 intel_device_demo
目录下,主要的启动文件包括:
- intel_device_demo.py: 与英特尔技术团队合作改进的 ITREX 和 OpenVINO 部署教程。
3. 项目的配置文件介绍
配置文件位置
配置文件通常位于项目的根目录或各个 demo 目录下,具体包括:
- config.yaml: 项目的主要配置文件,包含模型参数、训练参数等。
- requirements.txt: 项目依赖的 Python 包列表。
配置文件内容
config.yaml
model:
name: "THUDM/glm-4v-9b"
trust_remote_code: True
training:
max_length: 2500
do_sample: True
top_k: 1
requirements.txt
transformers
vLLM
torch
以上是 GLM-4 开源项目的基本使用教程,涵盖了项目的目录结构、启动文件和配置文件的介绍。希望这些信息能帮助你更好地理解和使用该项目。