qq_55773484的博客

【代码】将markdown文件按句子切块转换成预训练格式。

遇到的问题：训练崩掉了（模型不讲人话）。因为学习率太高需要调低点，lr=1e-5就可以，同时要修改loss更新的频率，不能没chunk都更新，大概4chunk一次更新差不多。前提：任务要求3w篇pdf文献用来预训练，采用MinerU转换为markdown格式，对markdown格式初步清洗用来预训练测试。选用qwen为基座模型，采用lora预训练。加载测试代码采用qwen官方的。