超级会员免费看
本文详细记录了使用Megatron-LM训练GPT2模型过程中遇到的环境配置、数据集准备和模型训练的问题。包括CUDA与torch版本匹配、apex编译错误、数据下载与预处理的TypeError、tokenizer导入问题，以及Distributed训练的模式。通过一系列尝试和解决方案，最终成功进行模型训练。
基于Megatron-LM从0到1完成GPT2模型预训练、模型评估及推理 - 知乎 (zhihu.com)
1、配置环境（太遭罪了）
先讲结论，踩坑太漫长了：
GPU：tesla P100
cuda11.8（可换其他，低点好）
pytorch2.1.0（可换其他2.1还是有点小坑）
Megatron-LM（tag2.5），最新的transformer_engine用不了，对GPU框架有要求
pytorch镜像选好版本（别用太高，gpu不行，多踩了很多坑），有apex的就行
首先进入到Megatron-LM目录，安装一下依赖，pip install -r requirements.txt
不需要tensorflow
pytorch和cuda要匹配
订阅专栏 解锁全文
4万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
