大模型微调炼丹心得十问

Q1: 超参数如何设定？

简单任务rank=16，alpha=32一般就ok了，Lightning AI有一篇技术分享专门讨论了，lora的参数设定问题。

Finetuning LLMs with LoRA and QLoRA: Insights from Hundreds of Experiments

https://lightning.ai/pages/community/lora-insights/

Q2：sft微调需要多少数据，

根据任务难度，设定。这句话有点废。具体点，任务难度可以根据模型计算困惑度来衡量。你可以和一般任务对比，自行摸索一个阀值。这是定量。定性，如果提示词能够解决，难度较低，如果通过提示词不能解决，难度是有点，是中等，还是高根据模型已有的先验知识来定。所以一般难度100-300条数据就ok了，中等，困难问题一般需要1000以上，这个以上可能是3000，8000，1w或者10w加。你说任务难度和数据量有没有定性关系, 如果你算力够，又想搞研究写论文，你可以探索一下任务难度指标如何定义，已经和特定模型需要的sft数据量是什么关系。也许已经有论文了，我没看到

Q3: 学习率如何调整

一般lora微调学习率都设定为1e-4，其实很多时候，你要根据loss的情况，调高，或者调低，震荡比较大就调低，太慢就调高。根据任务酌情设定。

Q4: 总是学不会，怎么办

如果你在各种超参数后，效果还是不理想。你第一个反思的应该是你的数据集和你想要的结果是否真的匹配，或者你的指令是否是模型友好的（困惑度比较低），或者你的数据存在不平衡。对，没错大模型时代数据平衡也还是很重要的。所以所谓高质量数据集并不是客户场景，或者业务场景有很多数据就够了。最后一公里其实是针对任务模型友好的数据集，能让模型快速学会。这就像一个好老师，一点就通。而差老师怎么教，你还是不会。

Q5: 听说sft微调的越多，遗忘的越多

是的，不过对于小任务，rank比较低（例如8，16）的任务，影响还是有有限的。一般很少掉点明显。如果有你可以混合一些你想保留的原子能力的数据进去。

Q6: 如何才能一次性微调想要模型学习到多个能力

肯定是可以的，注意相关性和比例，数据集必须是一个好老师，然后还要注意到我提到的以上内容。另外你也可以通过多阶段sft的方式学习多个能力。

Q7: 微调需要很久么，需要多少GPU，普通企业能不能玩

Qlora微调7b模型并不需要很多GPU，也不需要很久。一台12G显存的GPU即可，30分钟-2小时，对于中等任务而言。现在市面是4090租赁价格不过2元/小时。所以硬性成本不高。高的是针对特定能力的高质量数据集如果构建，以及能做微调的人才。我甚至和同时开玩笑说，我失业了我就去卖高质量数据集，我的广告词就是

买我的数据集，微调一小时，能力全都有！主要一个省心省力，按能力大小和数据集制作成本收费。

Q8: 处理sft微调，还能做其他微调么

有的，我们都知道RLHF，这个成本比较高，但是DPO和ORPO，针对偏好微调成本就低很多了。尤其ORPO和sft的成本几乎一样。唯一不同的是数据集需要有偏好对。而且偏好微调一个重要的特点是可以克服遗忘，sft是微调参数越多，遗忘越大。所以如果你想保留通用能力，偏好微调是比指令微调更好的选择。缺点就是数据集的制作成本高。偏好对要做到高质量是有难度的。

Q9: 微调用什么框架

如果你是大神，自己手搓trainer，如果是你高手，对模型比较懂，那就自己写peft，trl的trainer。如果你是专门做落地的，高应用的，没那么多时间手搓代码，你可以用诸如LLaMA-Factory、阿里的swift，书生xtuner、Firefly等，有很多。

Q10: 在实践中如何选择做提示词工程、RAG知识库、微调

一张图解决你的困惑

针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓

👉[CSDN大礼包🎁：全网最全《LLM大模型入门+进阶学习资源包》免费分享（安全链接，放心点击）]()👈