在极客时间刷了两个月的大模型微调课也要结业了,这里简单回顾和复盘一下自己的学习体会。至于自己为什么要学微调,其实是希望更多了解大模型训练,这块对于刚入坑AI的我来说都是新鲜事物,而且我也想了解一般人是否有能力做模型训练。上了课以后,我才知道所谓预训练大语言模型的开销成本普遍来说都是相当大的,动辄几百上千块显卡,都是资金雄厚的大厂才有投入研发的资本,而微调可以算是普通人能够上手大模型训练成本最小的途径了。
就课程难度来说,微调入门还是有门槛的,因为不论哪种微调技术,都是从理论开始入手,而难点就在这里。课程对于微调技术的各种框架梳理很清晰,而且视频内容的知识密度还挺大的,尤其是理论知识直接解读论文,干货满满,想学好的话需要对自己有一定要求。不像之前学大模型应用课那样,我很多时候没有做过预习功课,直接生啃理论课就会懵逼,后续应该还会二刷。训练营也有定期答疑环节,有不少问题也可以攒起来提给老师,不过答疑次数有限,需要珍惜。
对于代码示例方面,都有提供相应的jupyter项目和作业。如果要运行项目,建议租老师推荐的华为云服务,如果家里有适合的显卡的话,也可以本地跑项目。我是用自己的显卡跑的,虽然省去了租用服务器成本,但是有时候为了完成6个多小时模型训练,电脑从早到晚一直开着,噪音大,房间室温都明显升高,确实不如放在云端训练来的体面。在完成作业方面,这次我跟微调群里的助教老师和其他同学的互动相对多一些,毕竟经常有运行报错或配置问题。其实挺感谢助教老师的,感觉他水平也挺高的,另外也感谢其他优先踩坑的同学分享自己遇到的作业问题,除此之外,我发现自己也享受在群里分享填坑经验,因为相信自己遇到的问题,大概率其他人也会遇到,而分享就是在提供价值。所以有时候遇到难处,也是可以抱团取暖,借助群体智慧来助你往前走。
最后写点我学到了什么,比如微调适合哪些场景?微调技术相对RAG来说有哪些不同以及如何做技术选型?如何估算训练或推理模型需要的显卡资源?有哪些高效微调的技术栈?还有上手实操LLaMA,ChatGLM等开源模型的微调、量化,以及分布式训练框架DeepSpeed的应用。
以上就是我的学习总结,也是结业的最后一次作业。通过参加训练营算是从外行变成了刚被师傅领进门的学徒,慢慢吸收密集的知识,甚至未来仍需要反复消化。感谢彭老师的硬核输出、助教伍老师和班主任萌萌的付出,祝愿同期的学员发展顺利。