思路:
本次任务是在baseline使用loar微调后,在vllm加速的情况下,进行的逻辑推理。
具体过程:
如图:
task3运行路线:魔搭运行gpu选第二个镜像-跑lora(只跑一遍别重复运行cell,提示重启notebook的在文字前面的cell跑完之后点notebook工具栏那个刷新按钮)-跑vllm(在后台挂着)-跑文件夹里面的baseline2
详细过程:
Task3 baseline02 微调方案 - 飞书云文档 (feishu.cn)
注意事项:
1.要注意使用gpu以及相应的镜像
2.在跑lora微调代码时,要把文件改为an文件,并且每小段代码只能运行一次,另外,在要求重启notebook时要重启内核。
3.记得导入相关文件,main的主train文件。
4.vllm代码是加速代码,挂在后台即可。
最终成绩:
收获所得:
虽然对代码并未完全掌握,但是学到了一定的解决代码报错的能力,学习到了微调的方法。