LLM PreTraining from scratch -- 大模型从头开始预训练指北

最近做了一些大模型训练相关的训练相关的技术储备，在内部平台上完成了多机多卡的llm 预训练的尝试，具体的过程大致如下：

数据准备：

大语言模型的训练依赖于与之匹配的语料数据，在开源社区有一群人在自发的整理高质量的语料数据，可以通过 以下的一些链接获取

liwu/MNBVC at main

Skywork/SkyPile-150B · Datasets at Hugging Face

预训练框架：

选用了百川智能的开源框架

原始版本代码训练准备：

根据README 里面的介绍，需要准备以下几样东西：

• 训练数据，按照训练的卡的数目分成多个文件，每个文件的每一行为一整句的语料,类似这样的文件

添加图片注释，不超过 140 字（可选）

• 分词器（tokenizer） ，下载 分词器 到当前目录下。

• 修改hostfile训练脚本，单机训练情况下，不依赖于多机多卡的hostfile， 修改启动脚本 添加启动项 --num_nodes 即可完成单机多卡的训练

#!/bin/bash

deepspeed --hostfile config/hostfile --num_nodes=1 \ train.py \ --deepspeed \ --deepspeed_config config/deepspeed.json

原版的训练中几个要处理的问题