分布式训练让原来跑不动的代码现在能够有效的跑通,降低硬件要求。节省了成本且提高了效率。
XTuner可以基于openmmlab,经过flash attention等优化加速,支持QLoRA和LoRA的微调。
书生大模型全链路开源开放体系的笔记
最新推荐文章于 2024-09-12 23:00:00 发布
分布式训练让原来跑不动的代码现在能够有效的跑通,降低硬件要求。节省了成本且提高了效率。
XTuner可以基于openmmlab,经过flash attention等优化加速,支持QLoRA和LoRA的微调。