GLM4模型环境配置+模型微调+模型部署学习笔记

本篇文章的目的在于记录视频学习如何对大预言模型的实操

本次笔记来自b站视频:最新开源大语言模型GLM-4模型详细教程—环境配置+模型微调+模型部署+效果展示_哔哩哔哩_bilibili

环境配置 

 1.首先需要下载模型的项目

2.下载预训练语言模型

3.打开项目装环境点击进入read.me文件

安装时需要将requirement文件中的torch注释掉，之后单独装。

4.修改预训练语言模型路径

5.查看训练需要的内存： 在终端输入nvidia

6.提供了web端的演示

7.运行完后记得杀死进程

 微调和模型训练

阅读read.me文件,文档里说微调前需要安装依赖

多轮对话微调

运行这个文件就可以微调了

微调需要指定数据集、预训练的模型、lora微调的配置

 也可以用开源的微调框架微调

将微调项目打开和模型项目放置一起，除了个别库需要安装外不需要单独再全装requiremens文件的库。

在环境中运行这个包

 

如何把数据集放进来： 可以在redeme_zh.md中查看如何放置数据集

 

如何运行：

 

可以使用本地环境运行：上述打开本地环境输入相同 保存训练参数-载入-开始

训练好了之后点击chat查看微调效果作为检查点

可以最后导出模型