LLM-04 大模型 15分钟 FineTuning 微调 ChatGLM3-6B（准备环境） 3090 24GB实战 需22GB显存 LoRA微调 P-TuningV2微调

背景介绍

ChatGLM3是由智谱AI和清华大学KEG实验室联合开发的一款新一代对话预训练模型。这个模型是ChatGLM系列的最新版本，旨在提供更流畅的对话体验和较低的部署门槛。ChatGLM3-6B是该系列中的一个开源模型，它继承了前两代模型的优秀特性，并引入了一些新的功能和改进。

• 基础模型性能提升：ChatGLM3-6B基于更多样的训练数据、更充分的训练步数和更合理的训练策略，使得其基础模型性能得到显著提升。例如，ChatGLM3-6B-Base在10B以下的基础模型中表现最佳。
• 功能支持：ChatGLM3-6B支持多轮对话、工具调用（Function Call）、代码执行（Code Interpreter）和Agent任务。这些功能使得模型不仅能进行普通的对话，还能执行更复杂的任务，如代码解释和工具调用。
• 开源和部署：ChatGLM3-6B作为一个开源模型，鼓励开发者和社区共同推动大模型技术的发展。模型的部署相对简单，支持多种部署方式，包括在本地或云端部署。
  安全和合规性：尽管模型在训练各阶段都尽力确保数据的合规性和准确性，但由于其规模较小且受概率随机性影响，无法保证输出内容的准确性。开发者需要注意模型输出可能被用户输入误导的风险。

项目地址

# github
https://github.com/THUDM/ChatGLM3

# huggingface
https://huggingface.co/THUDM/chatglm3-6b 

配置要求

官方推荐

我们仅提供了单机多卡/多机多卡的运行示例，因此您需要至少一台具有多个 GPU 的机器。本仓库中的默认配置文件中，我们记录了显存的占用情况：

• SFT 全量微调: 4张显卡平均分配，每张显卡占用 48346MiB 显存。
• P-TuningV2 微调: 1张显卡ÿ