技巧v1:
1、数据择优:数据去重降低重复数据带来的计算量:基于正则匹配,minhash 等算法
2、减少训练steps:训练语料中多条 concat 为一条,使不同 batch 的语料 token 数目基本一致,从而降低 padding 对计算效率的影响
3、使用 bf16 数值类型代替 fp32 数值类型
与32位相比,采用BF16/FP16吞吐量可以翻倍,内存需求可以减半。
但是这两者精度上差异不一样,BF16 可表示的整数范围更广泛,但是尾数精度较小;FP16 表示整数范围较小,但是尾数精度较高。
4、测试训练效率最高的 DP/TP/PP 参数
5、freeze transformer 模型的底层参数
6、多轮对话拆成多条训练数据,对每个response都进行predict和loss计算