创新实训2024.06.17日志：大模型微调总结

已于 2024-06-17 19:40:04 修改
阅读量909 收藏 22
点赞数 27
分类专栏： 项目实训-易学大模型 项目实训日志 文章标签： tuning lora 微调 数据集 glm3 Qwen
于 2024-06-17 19:34:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyh20021209/article/details/139746904
版权

前段时间其实我们已经部署了大模型，并开放了对外的web接口。不过由于之前某几轮微调实验的大模型在对话时会有异常表现（例如响应难以被理解），因此我在项目上线后，监控了数据库里存储的对话记录。确定了最近一段时间部署的大模型回复一切正常后，着手写这篇有关大模型微调记录的博客。

1. 数据汇总

之前我们采用人工编写、从非结构化的文本中提取、self-instruct生成和self-QA生成的方式，搜集并生成了微调训练所需的数据集。在微调前，我们先对这些数据进行了聚合，把它整理成一个微调软件/程序能够接受的格式。格式如：

{

           "instruction": xxx,

           "input": xxx,

           "output": xxx

}

并非每条指令都有instruction和input的内容，这部分之前的博客也说了，instruction和input的界限不是很明显。如果是分类问题的话，两者都是必须的，其他问题并非必须都要有。

数据集如下图所示： 

经整理，共有如下来源：

  1. 《周易》古经：64卦的卦辞、爻辞原文、译文。卦爻辞分词。
  2. 《易传》（十翼）原文、译文。
  3. 现代资料：《周易译注》、《易学百科全书》卦爻辞词条。
  4. 经典易学典籍：《周易注》、《周易正义》、《周易本义》、《周易集解》等。
  5. 《周易研究》期刊1988-2023共36年的文章数据。平均一年6期，一期10篇，36年共1800篇文章。

2. lora微调：L40+LLaMA-Factory

2.1. 软硬件环境说明

对于glm3-6b这个超参数量比较小的大模型，我们采用了学院的带有八张L40显卡的机器（导师申请的）以及开源微调软件LLaMA-Factory进行微调。

软件环境

微调工具：LLaMA-Factory

LLaMA-Factory开源软件仓库地址：

hiyouga/LLaMA-Factory: Unify Efficient Fine-Tuning of 100+ LLMs (github.com)icon-default.png?t=N7T8https://github.com/hiyouga/LLaMA-Factory这个项目提供了命令行和GUI的微调工具，尤其是GUI，非常适合超参数数量在小型和中等规模参数的大模型进行微调。可以手动选择参数以及微调方式（Lora，RHLF等）

服务器：Linux ubuntu发行版

CUDA：12.4

驱动版本：550.54.15

硬件环境

学院服务器，八张L40显卡。

2.2. LLaMA-Factory微调工具安装部署

根据Github仓库上的README，我们可以快速部署LLaMA-Factory

这个软件对依赖环境有所要求，如下图：

在部署软件前，我已经保证了本地的依赖环境是符合上述表格的：python 311,torch 230 

拉取代码安装依赖

git clone --depth 1 https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -e ".[torch,metrics]"

部署微调用的训练集

把之前按照Alpaca格式风格的数据集放置到data文件夹下（以json格式保存）

随后再到dataset_info中编辑这个新的数据集（webui和脚本都会读取这个配置文件，以获取数据集）

利用web gui微调

LLaMA-Factory提供了一套web界面来进行微调，这样我们只需要再选项卡中选择自己需要的参数就可以了，不用再在命令行拼接一堆参数选项启动脚本进行微调了。

web gui启动命令：

llamafactory-cli webui

随后你就能看到微调的gui界面，在这个界面中，我们可以选择数据集，微调方式，各种参数。

此处我就使用了我们之前配置好的数据集，同时还有其他参数需要选择。这里我用表格记录下来了。

微调参数/微调模型glm3-6bglm3-6bglm3-6bglm3-6bglm3-6bglm3-6b
学习率5e-55e-55e-55e-55e-55e-5

训练轮数

3333050100
批处理大小44410104
最大梯度范数1.01.01.01.01.01.0
最大样本数100000100000100000100000100000100000
计算类型fp16fp16fp16fp16fp16fp16
截断长度102410241024102410241024
梯度累计888888
验证集比例0.10.10.10.10.10.1
学习率调节器cosinecosinecosinecosinecosinecosine
日志间隔555555
保存间隔100100100100100100
优化器adamwadamwadamwadamwadamwadamw
LoRA秩888888
LoRA缩放系数161616161616
LoRA随机丢弃0.10.10.10.10.10.1
GPUL40*1L40*4L40*8L40*4L40*4L40*8
Tran_sample/s1.9793.87614.0397.0329.63213.948
Train_step/s0.0620.030.0550.0550.120.054
运行时间4:48:022:27:030:37:2612:10:0016:26:0020:26:00

 可以看到大部分时间都是比较长的（即便用上所有8个核心），这也是后来转战华为昇腾服务器的原因之一。

这里我贴一下部分训练的epoch-loss图像：

这边LLaMA-Factory是做了数据平滑去噪，在微调的指令中有个是否绘制损失函数图像的参数，选择true后绘制出来的图像就是这样，平滑的代码应该已经写到求损失函数的部分中了。loss不至于像原来那样那么震荡。同时可以看到我们的loss其实并没有降到最低就停止了epoch，所以模型有点欠拟合，这导致部分模型在基线测试是性能不够好。

在得到了模型权重文件后，我们就可以把它部署到服务器了，例如：

我在服务器上存放了我们微调过的大模型，每个都形如：

 其中包括了所有的权重文件与配置文件。

这样我们在带着大模型启动时，选择其中一个进行启动即可，一般我都选的L40*8微调100轮的那个（虽然在之前基线测试时，表现最好的是Qwen微调1000轮的，但是我们4090显卡就24G显存，Qwen14B权重模型一个就20多G了，带不动）

lora微调原理

参考：大模型高效微调-LoRA原理详解和训练过程深入分析 - 知乎 (zhihu.com)

LoRA(Low-Rank Adaptation of LLMs)，即LLMs的低秩适应，是参数高效微调最常用的方法。

LoRA的本质就是用更少的训练参数来近似LLM全参数微调所得的增量参数，从而达到使用更少显存占用的高效微调。

LoRA的核心思想是，在冻结预训练模型权重后，将可训练的低秩分解矩阵注入到的Transformer架构的每一层中，从而大大减少了在下游任务上的可训练参数量。

We propose Low-Rank Adaptation(LoRA), which freezes the pre trained model weights and injects trainable rank decomposition matrices into each layer of the Transformer architecture, greatly reducing the number of trainable parameters for downstream tasks. 

通常，冻结预训练模型权重，再额外插入可训练的权重是常规做法，例如Adapter。可训练的权重学习的就是微调数据的知识。但它们的问题在于，不仅额外增加了参数，而且还改变了模型结构。这会导致模型训练、推理的计算成本和内存占用急剧增加，尤其在模型参数需在多GPU上分布式推理时（这越来越常见）。

深度网络由大量Dense层构成，这些参数矩阵通常是满秩的。

相关工作表明，When adapting to a specific task, 训练学到的过度参数化的模型实际上存在于一个较低的内在维度上（高维数据实际是在低维子空间中）

 LoRA就假设LLM在下游任务上微调得到的增量参数矩阵Δ𝑊是低秩的（肯定不是满秩），即存在冗余参数或高度相关的参数矩阵，但实际有效参数是更低维度的。LoRA遂设想，对全参数微调的增量参数矩阵Δ𝑊进行低秩分解近似表示（即对参数做降维）。

We hypothesize that the change in weights during model adaptation also has a low “intrinsic rank”, leading to our proposed Low-Rank Adaptation (LoRA) approach.

这样训练Δ𝑊的低秩分解近似参数矩阵，效果上相比其他PEFT方法不会打什么折扣，而且还能在推理时不增加额外开销。 

LoRA allows us to train some dense layers in a neural network indirectly by optimizing rank decomposition matrices of the dense layers’change during adaptation instead, while keeping the pre-trained weights frozen

3. 华为昇腾服务器微调：MindFormers+ModelLink

华为提供了一套一体化的、全流程的大模型微调工具MindFormers+ModelLink

  1. MindFormers(MindSpore)： 华为自家提供的一个构建大模型训练、微调、评估、推理、部署的全流程开发套件
  2. ModelLink(Pytorch+Megatron) ModelLink旨在为华为昇腾芯片上的大语言模型提供端到端的解决方案, 包含模型，算法，以及下游任务。

ModelLink也是开源的：

ModelLink: 昇腾大模型仓库 (gitee.com)icon-default.png?t=N7T8https://gitee.com/ascend/ModelLinkModelLink对于不同大模型的微调步骤，专门分门别类地出了一套教程，这里我以Qwen1-14B为例：

首先克隆仓库到本地服务器：

git clone https://gitee.com/ascend/ModelLink.git
git clone https://github.com/NVIDIA/Megatron-LM.git
cd Megatron-LM
git checkout core_r0.6.0
cp -r megatron ../ModelLink/
cd ..
cd ModelLink
mkdir logs
mkdir model_from_hf
mkdir dataset
mkdir ckpt

随后搭建基本环境（首先保证有conda环境，安装conda网上很多教程了，我就不多写一遍了）

# python3.8
conda create -n test python=3.8
conda activate test

# 安装 torch 和 torch_npu
pip install torch-2.1.0-cp38-cp38m-manylinux2014_aarch64.whl
pip install torch_npu-2.1.0*-cp38-cp38m-linux_aarch64.whl
pip install apex-0.1_ascend*-cp38-cp38m-linux_aarch64.whl

# 安装加速库
git clone https://gitee.com/ascend/MindSpeed.git
cd MindSpeed
git checkout 2b0edd2
pip install -r requirements.txt
pip install -e .
cd ..

# 安装其余依赖库
pip install -r requirements.txt

下载预训练权重和词表：

mkdir ./model_from_hf/Qwen-14B/
cd ./model_from_hf/Qwen-14B/
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/cache_autogptq_cuda_256.cpp
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/cache_autogptq_cuda_kernel_256.cu
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/config.json
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/configuration_qwen.py
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/cpp_kernels.py
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/generation_config.json
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00001-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00002-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00003-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00004-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00005-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00006-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00007-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00008-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00009-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00010-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00011-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00012-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00013-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00014-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model-00015-of-00015.safetensors
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/model.safetensors.index.json
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/modeling_qwen.py
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/qwen.tiktoken
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/qwen_generation_utils.py
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/tokenization_qwen.py
wget https://huggingface.co/Qwen/Qwen-14B/resolve/main/tokenizer_config.json
cd../../

修改modelling_qwen.py文件第39行，将：

SUPPORT_FP16 = SUPPORT_CUDA and torch.cuda.get_device_capability(0)[0] >= 7

改为：

SUPPORT_FP16 = True

数据集我们有，直接拉到服务器上就可以，放到./dataset（相对路径）下即可

随后利用华为ModelLink提供的process_data.py脚本进行数据处理

python ./tools/preprocess_data.py \     --input ./dataset/datasetQA_final.jsonl \     --tokenizer-name-or-path ./model_from_hf/Qwen-14B-Chat/ \     --output-prefix ./dataset/Qwen-14B-Chat-modelling/alpaca \     --tokenizer-type PretrainedFromHF \     --workers 4 \     --log-interval 1000 \     --handler-name GeneralInstructionHandler \     --append-eod \     --tokenizer-kwargs 'eos_token' '<|endoftext|>' 'pad_token' '<|extra_0|>'

 随后利用其提供的预训练脚本进行训练

 最后，将训练结束后的权重格式从megatron转换为safetensors格式(不然不能用）

python ./tools/checkpoint/convert_ckpt.py --model-type GPT --loader megatron --saver megatron --save-model-type save_huggingface_qwen --target-tensor-parallel-size 8 --target-pipeline-parallel --load-dir ./ckpt/Qwen-14B-Chat-JuDou/ --save-dir ./model_from_hf/Qwen-14B-Chat/ --add-qkv-bias

 最终得到最后训练完的权重文件

3.2. 微调环境

 软件环境

华为服务器宿主机OS：kylinSP3

容器：ubuntu22.04

cann：8，0RC1

驱动版本：24.1.rc1

硬件环境

Atlas800T A2(910b)*8

3.3. 微调参数

Epoch：1000

Time：11422s（3:10:22）

Time/epoch（每轮时长）:大概11000ms

速度等性能方面相较L40和H800有较大提升，并且Qwen14B 1000轮全微调是我们微调出来性能最优秀的大模型（唯一美中不足的就是实在太大了没法部署到仅搭载1块4090的服务器上去）

lyh20021209
关注
  • 27
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Ascend_PyTorch安装指北
fdd096030079的博客
09-20 594
软件名称：Ascend-cann-toolkit_6.3.rc2.alpha002_linux-aarch64.run （如果是x86 CPU，选取Ascend-cann-toolkit_6.3.rc2.alpha002_linux-x86_64.run)驱动版本为：Ascend-hdk-910-npu-driver_23.0.rc1_linux-aarch64.run。在这里选取最新的6.3.RC2.alpha002版本，跟上面的固件驱动里面显示的CANN版本一致。关于固件驱动，昇腾提供社区版下载。
AI大模型作业.zip
09-01
7. **模型应用**：除了基础的模型训练，大模型还能被应用于各种创新场景，如对话系统、知识图谱、智能客服、创意写作等。 AI大模型的研究和应用是推动人工智能进步的重要力量，它们不仅提升了技术的上限，还为解决...
ChatGLM-Med: 基于中文医学知识的ChatGLM模型微调.zip
06-24
本资源是大模型的微调教程内含数据集和模型连接，可以作为入门教程
创新实训周报2024.4.28
u010649319的博客
05-31 818
UIE使用daccano进行数据标注，并提供了将daccano数据转化为训练数据格式的代码。
apex-0.1-ascend-cp39-cp39-linux-aarch64.whl
09-14
Ascend apex-0.1_ascend-cp39-cp39-linux_aarch64，适用于CANN的版本为6.3.RC2
基于Pytorch+昇腾NPU部署baichuan2-7B大模型
XD的博客
04-02 2418
Baichuan 2 是百川智能推出的新一代开源大语言模型，采用2.6 万亿Tokens 的高质量语料训练。Baichuan 2 在多个权威的中文、英文和多语言的通用、领域 benchmark 上取得同尺寸最佳的效果。它基于 Transformer 结构，在大约1.2万亿 tokens 上训练的70亿参数模型，支持中英双语，上下文窗口长度为4096。项目地址预训练模型modelscope硬件要求：NPU：8 x Ascend NPUsModelLink旨在为华为昇腾芯片。
华为NPU下安装apex
门前大橋下丶
03-29 612
apex
torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux-aarch64.whl
12-11
jetson官方提供torch安装包需要系统默认环境是python3.8，不要在jetson上使用anaconda安装这个
《AI大模型》--AI 大模型微调训练营-作业.zip
03-22
人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结成果，希望可以帮到大家，有疑问欢迎随时沟通~ 人工智能学习总结...
昇腾torch-npu离线包(torch2.1.0)
12-12
昇腾torch_npu离线包(torch2.1.0)v5.0，包含x86_64和aarch64两个架构，根据运行平台使用。
从零开始：使用微调和嵌入训练自己的AI个性化大模型.docx
10-16
从零开始：使用微调和嵌入训练自己的AI个性化大模型.docx
在Arm/Linux下安装python的pytorch库
IT探险者-returningprodigal
08-10 2862
在Arm/Linux下安装python的pytorch库，更新pip库
Linux apex安装
Yonggie的博客
06-07 475
来源：https://blog.csdn.net/ccbrid/article/details/103207676是什么：混合精度什么用：提升GPU上的训练速度。
大模型部署手记（7）LLaMA2+Jetson AGX Orin
张小白
10-05 1619
大模型部署手记（7）LLaMA2+Jetson AGX Orin
开题报告宠物医院管理系统的设计与实现 已通过开题答辩的.docx
07-25
随着人们生活水平的提高和精神需求的增加，宠物已经成为很多家庭的重要成员，宠物市场的规模和潜力也不断扩大。宠物医院作为宠物健康保障的重要机构，需要适应市场的发展和变化，提供更加专业和便捷的服务。宠物医院的业务和信息涉及多个方面，如科室信息、医生信息、坐诊信息、药品信息、挂号信息、网站公告信息等。如果采用传统的手工或半自动化的管理方式，会造成信息的分散、混乱、更新困难、查询不便等问题，影响管理的效率和质量。系统能够通过计算机技术和网络技术对宠物医院业务进行集中管理。它可以实现信息的录入、存储、查询、修改、删除、统计、分析、展示等功能，方便宠物医院的管理人员和工作人员进行业务操作和决策支持。宠物医院管理系统还可以利用网络技术，向宠物主人和宠物爱好者提供在线的服务和咨询，方便宠物主人和宠物爱好者了解和关爱自己的宠物，增强宠物医院的社会影响力和竞争力。综上所述，宠物医院管理系统是一个具有实际意义和应用价值的选题，它可以为宠物医院的管理和服务提供有效的支持，为宠物主人和宠物爱好者提供便捷的服务和咨询，为宠物的健康和福利做出贡献。
主成分分析算法Python代码.txt
最新发布
07-25
数学建模模型python实例。
Linux环境安装Redis 6.2.9
07-25
Linux环境安装Redis 6.2.9
1.损失函数类（LossFunction）：模型损失函数。 2.优化器类（Optimizer）：配置优化算法。 3.学习率调度类（LearningRateScheduler）：动态调整学习率。 4.批量生成器类（BatchGenerator）：额外数据生成。 5.模型初始化类（ModelInitialization）：初始化模型参数。 6.模型训练迭代类（ModelTrainingIteration）：模型训练迭代。 7.模型调优类（ModelFinetuning）：微调模型超参数或网络结构。 在以上类中,一般会使用哪些属性和方法,一一列举,并简短的说明!
07-17
1. 损失函数类（LossFunction）： - 属性predictions（模型预测结果），labels（对应的真实标签），loss（计算得到的损失） - 方法：computeLoss()（计算损失函数的值） 2. 优化器类（Optimizer）： - 属性：modelParameters（模型参数），gradients（参数梯度） - 方法：updateParameters()（根据梯度更新模型参数） 3. 学习率调度类（LearningRateScheduler）： - 属性：learningRate（学习率） - 方法：adjustLearningRate()（根据特定策略动态调整学习率） 4. 批量生成器类（BatchGenerator）： - 属性：data（原始数据），batchSize（批次大小） - 方法：generateBatch()（按照指定批次大小生成批量数据） 5. 模型初始化类（ModelInitialization）： - 方法：initializeModel()（初始化模型参数） 6. 模型训练迭代类（ModelTrainingIteration）： - 属性：model（模型），trainData（训练数据），lossFunction（损失函数），optimizer（优化器） - 方法：trainOneIteration()（进行一次模型训练迭代） 7. 模型调优类（ModelFinetuning）： - 属性：model（模型），trainData（训练数据），validationData（验证数据） - 方法：fineTuneModel()（微调模型的超参数或网络结构） 以上是每个类中一般会使用的属性和方法，用于完成各自的功能。具体使用哪些属性和方法可以根据实际需求进行调用和操作。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值