垂直领域大模型微调的实战经验大揭秘

小天才学习机打游戏

于 2025-05-09 14:53:03 发布

阅读量834

点赞数 11

文章标签：人工智能数据库语言模型机器学习 eureka

本文链接：https://blog.csdn.net/m0_59164520/article/details/147823846

版权

这段时间，一直在思考微调垂直大模型。涉及的领域：大数据和大模型。

由于配置和经费问题，想着用一个小模型去微信一个大数据专家。

基于Qwen2-0.5B模型进行垂直微调，利用【数据中台-让数据用起来（第2版）】PDF书籍制造问答数据。

初期效果不是很好，特别是模型合成的时候，更不好了。

继续ing。

在查阅知乎的时候，看到一篇微调模型总结，分享给小伙伴…

垂直领域大模型微调的实战经验，从基座模型选择、模型整体架构、数据设计和训练微调四个方面进行详细解析。结合实际案例和测试结果，文章提供了具体可行的操作方法和注意事项，适用于各类垂直领域大模型的微调实践。

一、基座模型选择

在选择基座模型时，最好选择那些已经在相关领域有一定基础的模型。

比如在医学领域，BLOOMZ模型是个不错的选择，因为它使用了PILE语料库进行训练，包含了大量医学文本，如PubMed Central和PubMed Abstracts。这类模型的医学知识体系相对比较完善，能够在微调时更好地适应医学领域的需求。

选择基座模型时，还要考虑模型的参数规模和性能。超大参数模型（至少百亿）的能力即使经过量化，仍能保持较高的性能。这类模型虽然训练和部署成本较高，但在处理复杂任务时表现更佳。

另外，不要指望一个单个垂直领域的LLM就可以满足所有需求。

合理的做法可能是结合实时更新的知识库和微调的垂直领域LLM，比如ChatLaw。这种组合能够更好地应对多变的需求，同时保持模型的灵活性和实用性。（合理，微调+知识库RAG的方式相结合）

二、模型整体架构

在设计模型整体架构时，要注意灵活性和可扩展性。一个合理的模型架构不仅要能够满足当前的需求，还要具备一定的扩展能力，以应对未来可能出现的变化和增加的需求。

比如，对于医学领域的大模型，可以采用一个实时更新的知识库加上一个微调后的医学LLM的架构。这种架构不仅可以保证模型的实时性，还能通过知识库的更新来弥补模型在某些特定知识点上的不足。

超大参数模型的设计也是一个需要重点考虑的方面。虽然这些模型的训练成本较高，但其在处理复杂任务时的表现往往优于小参数模型。因此，在资源允许的情况下，优先选择超大参数模型进行微调。

三、数据设计

数据设计是微调过程中至关重要的一环。在LLM时代，数据质量往往比数据数量更为重要。比如，上交清源和里海的研究表明，利用200条高质量数据微调模型，其效果可能超过使用大量低质量数据。

为了防止灾难性遗忘，在算力充足的情况下，建议使用垂直领域数据和通用语料数据进行混合训练。这样既可以保证模型在垂直领域的表现，也能保持其通用能力。

在进行大规模数据的二次预训练时，需要添加5-10倍原始预训练中的其他类型数据，并打混后一起训练。大量增加某类在预训练时没有的知识，可能会造成模型参数的大幅度变化，从而影响模型整体性能。

噪音数据的控制也是数据设计中的一个关键点。预训练数据中如果出现少量连续的噪音数据，比如重复单词或非单词序列，都会影响模型的表现。因此，在数据准备过程中，必须严格控制数据的质量，确保训练数据的干净和高质量。

四、训练微调

训练微调是模型性能优化的最后一步，也是最为关键的一步。在全流程的LLM训练中，包括了预训练、监督微调、奖励模型和强化学习等多个环节。对于大多数垂直领域模型来说，监督微调已经能够满足大部分需求。

在指令微调阶段，不建议进行过多轮次的训练。针对少量数据进行多个epoch的训练，可能会导致模型的关键区域发生变化，从而影响整体性能。为了保证模型语言能力关键区不被大幅度调整，需要在指令微调过程中添加通用指令数据或者预训练数据。

模型微调时，优化器的选择对结果影响并不大。无论是AdamW、带调度器的SGD，还是带调度器的AdamW，对结果的影响都微乎其微。但是，调整LoRA rank和选择合适的α值至关重要，可以把α值设置成rank值的两倍。

虽然LLM训练有着不可避免的随机性，但多轮训练的结果仍非常一致。因此，在条件允许的情况下，可以通过多轮训练来进一步优化模型性能。如果受GPU内存限制，QLoRA提供了一种高性价比的折衷方案，以运行时间增长39%的代价，节省33%的内存。

总的来说，垂直领域大模型的微调需要结合实际需求，选择合适的基座模型，设计合理的模型架构，处理和设计高质量的数据，并在训练和微调过程中严格控制各个细节。通过这些方法和技巧，可以显著提升大模型在垂直领域的表现。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述