之前在知乎问答上吹水说我训练了我国第81个大模型,想想该兑现了。
第一步,准备问答数据,分为训练集和测试集两个部分,刚开始我准备用自己的知乎问答作为数据集,发现有困难,一是我的问答数量太少,还不够一千条,第二知乎不让导出,爬虫啥的我已经戒了,所以决定干脆找一个开源的中文问答数据集,这个百度知道的算是不错的了,虽然质量跟知乎问答没法比,好在生活气息比较浓厚。
第二步,挑选训练平台,对比了国内国外一大圈,阿里云的PAI最便宜也最容易上手,果断采用。
2.1 申请一个性能强劲的GPU,推荐先买个PAI的资源包,应该能便宜不少,不然每个小时都是30元RMB。
2.2 选择一个大模型进行微调,不同的模型微调的时间也不一样,我选择了相对比较小的通义千问的大模型。
2.3 然后就是一步一步执行, 注意要把训练数据替换成你自己准备的数据
2.4 等待一下微调的过程,应该几十分钟就完事了。
第三步,train结束了,简单的测试一下。看起来效果还可以,说了很多有用的信息。
第五步,就是把训练的这个模型上线到App里面啦,看一下最终效果。