大模型微调训练营毕业总结

在极客时间刷了两个月的大模型微调课也要结业了，这里简单回顾和复盘一下自己的学习体会。至于自己为什么要学微调，其实是希望更多了解大模型训练，这块对于刚入坑AI的我来说都是新鲜事物，而且我也想了解一般人是否有能力做模型训练。上了课以后，我才知道所谓预训练大语言模型的开销成本普遍来说都是相当大的，动辄几百上千块显卡，都是资金雄厚的大厂才有投入研发的资本，而微调可以算是普通人能够上手大模型训练成本最小的途径了。

就课程难度来说，微调入门还是有门槛的，因为不论哪种微调技术，都是从理论开始入手，而难点就在这里。课程对于微调技术的各种框架梳理很清晰，而且视频内容的知识密度还挺大的，尤其是理论知识直接解读论文，干货满满，想学好的话需要对自己有一定要求。不像之前学大模型应用课那样，我很多时候没有做过预习功课，直接生啃理论课就会懵逼，后续应该还会二刷。训练营也有定期答疑环节，有不少问题也可以攒起来提给老师，不过答疑次数有限，需要珍惜。

对于代码示例方面，都有提供相应的jupyter项目和作业。如果要运行项目，建议租老师推荐的华为云服务，如果家里有适合的显卡的话，也可以本地跑项目。我是用自己的显卡跑的，虽然省去了租用服务器成本，但是有时候为了完成6个多小时模型训练，电脑从早到晚一直开着，噪音大，房间室温都明显升高，确实不如放在云端训练来的体面。在完成作业方面，这次我跟微调群里的助教老师和其他同学的互动相对多一些，毕竟经常有运行报错或配置问题。其实挺感谢助教老师的，感觉他水平也挺高的，另外也感谢其他优先踩坑的同学分享自己遇到的作业问题，除此之外，我发现自己也享受在群里分享填坑经验，因为相信自己遇到的问题，大概率其他人也会遇到，而分享就是在提供价值。所以有时候遇到难处，也是可以抱团取暖，借助群体智慧来助你往前走。

最后写点我学到了什么，比如微调适合哪些场景？微调技术相对RAG来说有哪些不同以及如何做技术选型？如何估算训练或推理模型需要的显卡资源？有哪些高效微调的技术栈？还有上手实操LLaMA，ChatGLM等开源模型的微调、量化，以及分布式训练框架DeepSpeed的应用。

以上就是我的学习总结，也是结业的最后一次作业。通过参加训练营算是从外行变成了刚被师傅领进门的学徒，慢慢吸收密集的知识，甚至未来仍需要反复消化。感谢彭老师的硬核输出、助教伍老师和班主任萌萌的付出，祝愿同期的学员发展顺利。