前言
本篇主要从训练数据预处理、模型结构、训练参数设置与错误处理四大角度比较细节地分享大模型微调经验。
大模型的训练和微调过程相对于以前NLP中fine-tuning模式存在一些新的坑,并且做一些简单的消融实验相对于以前的模式试错成本也更高;此外目前很多算法工程师更多精力都放在了处理数据上, 工作之余很难有精力去做探索实验。
所以小伙伴们在实践前可以多看看一些通用的实践经验,带着一些先验知识去探索,尽量规避自己陷入一些无意义的坑中。
本篇将开启一个新系列,尽量细节的讲讲大模型中训练和微调的经验。
本篇主要从训练数据预处理、模型结构、训练参数设置与错误处理四大角度来谈经验,下面是一个问题的快捷目录。
1. 拿到业务产生的一批新的对话数据,需要进行SFT,怎样对这批数据进行优化?
2. 模型训练时,历史对话长度是不是设置得越长越好,一般设置多少?
3. 模型训练样本量规模增大,导致训练任务直接报OOM了,该怎么办?
4. 微调大模型的时候在模型结构方面有哪些经验?
5. 微调大模型的时候训练配置一般是怎样的?
6. 微调大模型时出现错误崩溃该怎么办?
拿到业务产生的一批对话数据,需要进行SFT,怎样对这批数据进行优化?
1. 上下文内容处理
考虑具体模型历史对话长度,输入历史对话数据进行左截断, 保留最新的对话记录。
2. 语句顺滑处理
把一些口语化的语气词、语法错误等进行顺滑,如嗯嗯、呃、啊啊之类的口语词。
3. 去掉一些敏感或不合适的内容
这里可以从整句和词的角度来考虑。
- 整句
可以基于如fasttext等模型训练一个简单的文本分类模型,把价值观不正确的或不合适的样本数据筛出来;
- 词
这里比较直接,可以设置一个敏感词列表。
4. 扩充用户特征标签
基于年龄、性别、地域、人群等,针对对话的用户做一个特征标签,可以便于后期分析,做其他实验等。
模型训练时,历史对话长度是不是设置得越长越好,一般设置多少?
这个消融实验是这么设计的,选同一个模型,分别用两种方案训练,变量是max_source_length和max_target_length,对训练好之后的模型从Loss、Bleu指标、离线人工评估等角度进行对比分析。
下面直接附上结论:
基于现有显存条件,从人工评估少量样本以及loss下降来看,历史对话长度设置得越长越好。历史对话长度1024比512长度好,后续如果训练可能上线模型,可以扩大到1024长度。
模型训练样本量规模增大,导致训练任务直接报OOM了,该怎么办?
1. 方案
对数据并行处理,核心思想是使数据向量化耗时随处理进程的增加线性下降,训练时数据的内存占用只和数据分段大小有关,可以根据数据特点,灵活配置化。
2. 具体操作
-
均分完整数据集到所有进程(总的GPU卡数);
-
每个epoch训练时整体数据分片shuffle一次,在每个进程同一时间只加载单个分段大小数据集;
-
重新训练时可以直接加载向量化后的数据。
微调大模型的时候在模型结构有哪些经验?
-
模型结构:目前都用Causal Decoder + LM。有很好的zero-shot和few-shot能力,涌现效应
-
Layer normalization: 使用Pre RMS Norm
-
激活函数: 使用GeGLU或SwiGLU
-
Embedding层后不添加layer normalization,否则会影响LLM的性能
-
位置编码: 使用ROPE或ALiBi。ROPE应用更广
-
去除偏置项: 去除dense层和layer norm的偏置项,有助于提升稳定性
微调大模型的时候在训练配置方面有哪些经验?
-
Batch size: 大模型在硬件显存满足的情况下,一般batch size越大越好, 建议选用很大的batch size; 后期动态地增加batch size的策略,GPT3逐渐从32K增加到3.2M tokens。
-
学习率设置: 先warmup再衰减。学习率先线性增长,再余弦衰减到最大值的10%。最大值一般在 5e-5到1e-4之间。
-
梯度裁剪: 通常将梯度裁剪为1.0。
-
权重衰减: 采用AdamW优化器,权重衰减系数设置为0.1Adamw相当于Adam加了一个L2正则项。
-
混合精度训练: 采用bfloat16,而不是foat16来训练。
微调大模型时出现错误崩溃该怎么办?
前面都好好的,过某个shard的时候突然崩溃了大概率是数据问题。
选择一个好的断点,跳过训练崩溃的数据段,进行断点重训。
选择一个好的断点的两点标准:
-
损失标度 lossscale>0;
-
梯度的L2范数<一定值 且 波动小。
最后的最后
感谢你们的阅读和喜欢,我收藏了很多技术干货,可以共享给喜欢我文章的朋友们,如果你肯花时间沉下心去学习,它们一定能帮到你。
因为这个行业不同于其他行业,知识体系实在是过于庞大,知识更新也非常快。作为一个普通人,无法全部学完,所以我们在提升技术的时候,首先需要明确一个目标,然后制定好完整的计划,同时找到好的学习方法,这样才能更快的提升自己。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】
大模型知识脑图
为了成为更好的 AI大模型 开发者,这里为大家提供了总的路线图。它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
经典书籍阅读
阅读AI大模型经典书籍可以帮助读者提高技术水平,开拓视野,掌握核心技术,提高解决问题的能力,同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说,阅读经典书籍是非常有必要的。
实战案例
光学理论是没用的,要学会跟着一起敲,要动手实操,才能将自己的所学运用到实际当中去,这时候可以搞点实战案例来学习。
面试资料
我们学习AI大模型必然是想找到高薪的工作,下面这些面试题都是总结当前最新、最热、最高频的面试题,并且每道题都有详细的答案,面试前刷完这套面试题资料,小小offer,不在话下
640套AI大模型报告合集
这套包含640份报告的合集,涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。
这份完整版的大模型 AI 学习资料已经上传CSDN,朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费
】