什么是模型微调？有哪些常用方法？一文了解

在人们谈论大模型时，同时也会经常提起“微调”。

什么是模型微调？它的作用表现在哪些方面？目前又有哪些常见微调的方法？

如果你也好奇，下面跟随一起来看看。

什么是微调？

微调，翻译自Fine tuning，简称FT，也被很多人称为“精调”。

从字面意思理解，微调其实相当于在通用大模型的基础上，对超出范围或不擅长的领域，使用专门的数据集或方法对其进行相应的调整和优化，以提升其在特定领域或任务中的适用性和完成度。

虽然微调以“微”见长，但在实际应用中，依然包含全量调整。

只是从0开始做下游任务全模型的微调，不仅工作量大，成本高，遇上百万级乃至亿级参数的大模型，还可能导致过拟合。所以，现阶段人们常说的微调，仍以在预训练模型基础上针对特定任务或行业需求做局部调整居多。

在技术领域，微调还被视为一种应用广泛的深度学习（Deep Learning）尤其是迁移学习(Transfer Learning)技术，一种常用的行业大模型构建方法。

它提升着通用大模型在垂直领域的性能，也加速推动着大模型在各行业的落地。

微调的价值体现在哪？

简单来说，微调的最大价值在于让大模型更接地气、更具适用性。

众所周知，通用大模型基于互联网公开的海量知识进行预训练，它的通识能力很强，但特定领域和行业的专业知识储备却很有限。

这导致基础大模型在处理特定行业或私域的专业知识文档、专业术语、业务流程时，可能存在理解不足或胜任力有限的情况。

而微调恰好能根据实际需求，针对性提升大模型与行业的契合度，让大模型在行业化调整中，更好地为人们所用。

举例来说，以往保险行业的专业核保通常需要5年以上医学背景和3年以上保险背景。因为入行门槛高，又涉及数据安全和隐私保护，常规的大模型很难解决业务问题。

而以司普科技为代表的大模型应用服务商则通过微调，将医疗保险专业知识内化到行业大模型中，并通过AI Agent联动核保数据结构化、QA质检、模型自学习、核保规则引擎、行业知识库等环节，从而让自动化、智能化核保成为了可能。

司普科技在制药行业的商用案例——智能偏差写作同样如此。

该项目通过精调，加速大模型对行业专门知识的学习和掌握，并根据实际业务需求，提升了大模型生成符合偏差IQS要求的报告内容的能力。

目前类似通过微调加快大模型与行业融合的案例正越来越多。只是部分行业对产品定制、私有化部署、训练数据源、数据量级、训练模式等有较高要求，一定程度上加大了技术攻关难度。

有哪些常见的微调方法？

关于微调的种类，目前各家各有说法。

不过总的来说，现阶段的微调方案包含模型结构、学习策略、数据预处理、参数等方面，只是很多并非孤立，而是相互结合在使用。

比如RLHF（人类反馈强化学习）、SFT（监督学习）等就属于学习策略方面的微调。

数据清洗、数据转换、特征提取、数据归类划分等，属于数据预处理方面的微调。

参数类的微调，可能我们听得更多。

目前，主要包括FFT（Full Fine-Tuning，全参数微调）、PeFT（Parameter-Efficient Fine-Tuning，参数高效微调）、ReFT（Representation Finetuning，表示微调，也被称为表征微调）等几种。

其中，FFT（全参数微调）聚焦对下游任务的模型全量参数进行微调，因为参数更新力度大，计算成本高，且效果未必有保障，所以固定大部分预训练参数，只微调少数参数的PeFT（参数高效微调）是目前更为热门的选择。

而大家常见的Adapter Tuning（适配器微调）就是参数高效微调的一种。它不用添加新组件，通过调整部分权重或添加新的权重就能实现和原始模型的协作。

另一种我们熟悉的LoRA微调，则是Adapter Tuning（适配器微调）的升级版，也是目前适配器微调中最流行的微调方法。它能提升参数调整效度，高效切换任务、减少推理延迟，最关键的是，还能进一步降低微调成本，使其更具性价比。

伴随LoRA微调的广泛使用，为了进一步改善内存需求和微调性能，科学家们还在此基础上推出了QLoRA、LoReFT等版本。

Soft Prompt（软提示）是参数高效微调另一种常见的方法，主要通过在输入序列的头部添加学习向量，以实现模型参数的高效微调。在这其中，前缀提示微调(Prefix-Tuning) 和提示调整(Prompt-Tuning)是Soft Prompt中最具代表性的两种方法。

除了以上几种，今年4月斯坦福大学的研究人员还提出了一种新型的参数类微调方法——ReFT（表征微调）。ReFT是一种无需修改权重，通过干预语言模型学习推理中的隐藏表示，就能有效适配和解决下游任务的微调方法。

因为它在提高参数微调效率、减少计算资源、训练时间和内存需求等方面更有优势，且更具解释性，也被很多人看好。

写在最后

以上介绍了大模型微调的基本概念、价值表现和常见方案。

总的来说，上面提到的各种微调方案都有其独特的优势和适用场景，建议根据实际的任务需求、模型类型、数据集大小、计算资源消耗等来进行选择。

眼下，出于行业或特定任务需要，通过微调优化大模型，强化SLM(小模型)的性能，正变得越发普遍。这或许也解释了，为何包括周鸿祎在内的行业KOL会认为：

今天的重点不在于反复做通用大模型，而在于找到细分场景，做出具体应用，并通过微调，落实商用价值。

毕竟加快行业落地，能给大模型带来更多商用机会。而微调，会是优化垂类模型必不可少的一环。

读者福利：如果大家对大模型感兴趣，这套大模型学习资料一定对你有用

对于0基础小白入门：

如果你是零基础小白，想快速入门大模型是可以考虑的。

一方面是学习时间相对较短，学习内容更全面更集中。
二方面是可以根据这些资料规划好学习计划和方向。

包括：大模型学习线路汇总、学习阶段，大模型实战案例，大模型学习视频，人工智能、机器学习、大模型书籍PDF。带你从零基础系统性的学好大模型！

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓

👉AI大模型学习路线汇总👈

大模型学习路线图，整体分为7个大的阶段：（全套教程文末领取哈）

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉大模型实战案例👈

光学理论是没用的，要学会跟着一起做，要动手实操，才能将自己的所学运用到实际当中去，这时候可以搞点实战案例来学习。

👉大模型视频和PDF合集👈

观看零基础学习书籍和视频，看书籍和视频学习是最快捷也是最有效果的方式，跟着视频中老师的思路，从基础到深入，还是很容易入门的。

👉学会后的收获：👈

• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

👉获取方式：

😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓