[论文笔记] PAI-Megatron 1、Qwen continuing pretrain(CT)千问预训练

通义千问开源模型在PAI灵骏的最佳实践 - 知乎

https://github.com/alibaba/Pai-Megatron-Patch/blob/main/examples/megatron.md

背景：

        目标：使用qwen基座来做CT。

        数据情况：预训练数据已经用qwen-tokenizer分过词。所以不需要准备数据。如果需没有数据，也可以从Pai-Megatron上拉数据。

Megatron训练流程：

      Pai-Megatron-Patch 克隆Pai-Megatron-Patch源代码并拷贝到工作目录/mnt/workspace/下。

# 开源网站获取训练代码
git clone --recurse-submodules https://github.com/alibaba/Pai-Megatron-Patch.git
# wget获取训练代码
https://atp-mode