SFT看这一篇就够了！万字长文：监督微调（Supervised Fine-Tuning, SFT）技术全解析【从理论到实战】

于 2025-04-10 22:35:22 发布
阅读量1k 收藏 17
点赞数 17
文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/zengzizi/article/details/147129332
版权

大家好，我是大 F，深耕AI算法十余年，互联网大厂技术岗。
知行合一，不写水文，喜欢可关注，分享AI算法干货、技术心得。
更多文章可关注《大模型理论和实战》、《DeepSeek技术解析和实战》，一起探索技术的无限可能！

【数据集篇】更多阅读：

  1. 大语言模型常见任务及评测数据集汇总（一）：70 余个数据集!_lcsts数据集-CSDN博客
  2. 大语言模型常见任务及评测数据集汇总（二）：90个数据集！_ace02数据集-CSDN博客
  3. 大语言模型实战手册：文本生成任务中，常用数据集有哪些？_故事生成领域的数据集有哪些-CSDN博客
  4. 【数据集篇 】 多模态大模型 ：65 个测试常用基准数据集+ 涵盖13个任务_多模态大模型数据集通讯目录是什么-CSDN博客
  5. 【数据集】多模态学习实战手册～20 余
最低0.47元/天 解锁文章
万字长文 | 如何让你的大模型“开口”说话：从ASR到端到端语音大模型的进化之旅
南七小僧的学海无涯
12-03 537
回顾过去，ASR、NLP和TTS三大技术携手走过了六十年的风雨历程；展望未来，端到端语音大模型正引领我们进入一个人机对话新时代。在这个过程中，每一步都是对未知领域的探索，每一次突破都凝聚着无数科研人员的心血。那么，在您看来，未来的语音技术将会给我们带来哪些意想不到的变化呢？欢迎在评论区留下您的见解！那么，小伙伴们，你们认为未来的语音技术还会带来哪些变革？欢迎在评论区分享看法和想法！
什么是SFT（监督微调，Supervised Fine-Tuning）
热门推荐
keyboard专栏
07-01 2万+
定义训练过程，包括损失函数、优化器和训练步骤。
SFT微调
最新发布
qq_38423732的博客
03-12 1051
微调可以强化预训练模型在特定任务上的表现，例如情感分类，尽管预训练模型已有一定能力，但微调可进一步优化其效果。：微调可以让模型学习特定领域的新知识，如自我认知类问题（如“你是谁？”“你是谁创造的？”），确保其回答符合预期。：微调可降低模型生成虚假或不相关信息的概率，提高回答的可靠性。：尽管每次生成的内容不同，微调可确保输出质量稳定，避免结果参差不齐。：微调可使模型在敏感问题上适当拒答，增强安全性和合规性。：通过优化和使用较小参数模型，减少响应时间，提高运行效率。
大模型微调：SFT（Supervised Fine-Tuning）主要方式、SFT-训练参数如何调整
老皮的博客
09-10 2503
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
SFT(模型微调)
xhw79的专栏
03-30 1239
然而由于不同能力项的数据的来源、领域、分布，以及数据规模的不同，这些因素都将对模型性能产生剧烈的影响。与RQ2中的设置对齐，我们从数学，代码，与过滤后的通用能力数据集中抽样不同比例的训练数据（1, 1/4, 1/16, 1/64, 1/256），并按照相应的比例直接混合后来微调LLaMA。我们提出的DMT策略通过在第一阶段微调特定能力数据，在第二阶段微调通用数据+少量的特定能力数据，可以在保留通用能力的同时，极大程度地挽救大模型对特定能力的灾难性遗忘，这为SFT的数据组成问题提供了一个简单易行的训练策略。
SFT 监督微调
modi000的博客
08-08 912
在目标数据集上训练目标模型时，将从头训练到输出层，其余层的参数都基于源模型的参数微调得到。监督式微调能够利用预训练模型的参数和结构，避免从头开始训练模型，从而加速模型的训练过程，并且能够提高模型在目标任务上的表现。首先，需要大量的标注数据用于目标任务的微调，如果标注数据不足，可能会导致微调后的模型表现不佳。其次，由于预训练模型的参数和结构对微调后的模型性能有很大影响，因此选择合适的预训练模型也很重要。评估： 使用目标任务的测试集对微调后的模型进行评估，得到模型在目标任务上的性能指标。
【人工智能时代】- 万字长文带你梳理Llama开源家族：从Llama-1到Llama-3
xiaoli8748的专栏
09-21 1454
对于语言的代表性和毒性的分析，Llama-2使用了相应的工具和数据集，以了解预训练数据的特征，为模型的安全调整提供指导。Llama-1各个参数量版本都在超过1T token的语料上进行了预训训练，其中，最大的65B参数的模型在2,048张A100 80G GPU上训练了近21天，并在大多数基准测试中超越了具有175B参数的GPT-3。在Llama-2和Llama-2-Chat的微调中，采用了自回归损失函数，这是一种在生成模型中常见的方法，模型预测下一个token时会考虑到之前的所有token。
万字长文 | 让大模型“开口”说话：从ASR到端到端语音大模型的进化之moshi、Mini-Omni
强化学习曾小健
12-28 1225
回顾过去，ASR、NLP和TTS三大技术携手走过了六十年的风雨历程；展望未来，端到端语音大模型正引领我们进入一个人机对话新时代。在这个过程中，每一步都是对未知领域的探索，每一次突破都凝聚着无数科研人员的心血。那么，在您看来，未来的语音技术将会给我们带来哪些意想不到的变化呢？欢迎在评论区留下您的见解！
大模型微调： SFT 经验分享
2401_85375186的博客
09-18 1632
微调作为一种技术手段，是在已具备广泛知识基础的大型预训练语言模型上，利用针对性的数据集实施额外的训练过程，旨在使模型更精准地契合特定任务需求或深入某一专业领域。微调的核心目标在于实现知识的精细化灌输与指令系统的精确匹配。大模型的SFT（Supervised Fine-Tuning）方式主要包括以下几种：1.全参数微调（Full Parameter Fine Tuning）：全参数微调涉及对模型的所有权重进行调整，以使其完全适应特定领域或任务。
揭秘监督微调（SFT）：语言模型性能跃升的秘密武器！
Code1994的博客
12-19 1215
大型语言模型（LLMs）的训练通常分为多个阶段，包括预训练和后续的微调阶段。虽然预训练成本高昂（通常需要数百万美元的计算资源），但相比之下，微调一个LLM或通过上下文学习进行适配的成本要低得多，仅需几百美元甚至更少。随着高质量的预训练模型（如 MPT、Falcon 或 LLAMA-2）的广泛可用，并且许多可以免费甚至商业化使用，我们能够通过在特定任务上微调这些模型，快速构建功能强大的应用。这种方法不仅经济高效，还显著降低了开发复杂AI系统的门槛。在人工智能研究的最新进展中，和。
一文详尽之SFT（监督微调）！
python123456_的博客
02-04 2029
结语在大模型浪潮初期，我和我的前辈曾经有过一段对话。我：这工作（某个方向的 sft）交给我合适吗，我能胜任吗？前辈：这工作谁都能做。我：那你为啥选我来做？前辈：这不是因为我认识你，跟你熟悉嘛。我：……前辈：你做不做，不做有的是人想做，不行我招个实习生来做。我：我做我做，我当然做。
大模型之Bloom&LLAMA----SFT(模型微调)
lovely_yoshino的博客
08-17 1万+
SFT（Scalable Fine-Tuning）是一种用于自然语言处理的技术，它通过对预训练的语言模型进行微调，使其适应特定任务。在大模型SFT中，使用的是大型的预训练语言模型，例如LLAMA、GPT等，这些模型具有数十亿甚至数百亿个参数，可以处理大量的文本数据。SFT的主要思想是在一个大型的预训练模型的基础上，针对特定的任务对模型进行微调。在微调过程中，模型会根据任务的特点调整模型的参数和结构，以提高模型在该任务上的表现。在微调过程中，可以使用不同的技术，例如数据增强、正则化、优化算法等。
一文读懂：监督式微调（SFT）
qianggezhishen的专栏
09-28 2000
监督式微调 (Supervised fine-tuning)，也就是SFT，就是拿一个已经学了不少东西的大型语言模型，然后用一些特定的、已经标记好的数据来教它怎么更好地完成某个特定的任务。它会根据任务的需要，调整自己的参数，就像是在学习怎么更好地预测下一个词或者理解一句话的意思。这样一来，模型就能把之前学的那些广泛的语言知识，专注地用在某个特定的任务上，提高自己的准确度。— 这招挺巧妙，用低秩分解的方式来更新模型的权重，就像是用两个小矩阵来代替一个大矩阵，这样一来，需要调整的参数就少了，微调起来也更高效。
使用大型语言模型进行监督微调（SFT）从想法到实现的工作过程中理解SFT的工作原理...
数智笔记
02-27 1万+
监督微调（SFT）是LLM对齐过程中的第一步训练。实际上，它非常简单。首先，我们需要整理一组高质量的LLM输出数据集 ——这些基本上只是LLM正确行为的示例；请参见下文。然后，我们直接在这些示例上对模型进行微调。这里，“监督”微调的方面来自于我们正在收集一个模型应该模仿的示例数据集。然后，在微调过程中，模型学习复制这些示例的风格。**与下一个标记预测的关系。**有趣的是，SFT与语言模型预训练并没有太大的区别 -预训练和SFT都使用下一个标记预测作为它们的基本训练目标！
GPT3 SFT微调中文1.3B参数量文本生成模型
强化学习曾小健
06-14 2050
训练数据包括中文维基百科、网络上公开文本数据。
LLM - SFT workflow 微调工作流程
BITDDD小栈
09-14 1153
LLM SFT 有监督微调 workflow 工作流详解。
【监督微调】浅谈大模型之SFT技术
程序星空实验室
09-11 2024
SFT（监督微调，Supervised Fine-Tuning）是一个在机器学习和自然语言处理领域中常用的术语，指对已经预训练的模型进行特定任务的训练，以提高其在该任务上的表现。
LLMs：ColossalChat相关的开源训练数据集简介(SFT指令微调数据集+奖励模型排序数据集+RLHF数据集)、RLHF算法实现的三个阶段(监督指令微调→训练奖励模型→RLHF训练模型→​​​
头部AI社区如有邀博主AI主题演讲请私信—心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，专注，谦虚，自律，反思，成长，还算比较正能量的博主，公益免费传播…内心特别想在AI界做出一些可以推进历史进程影响力的技术(兴趣使然，有点小情怀，也有点使命感呀
06-10 2098
​ LLMs：ColossalChat相关的开源训练数据集简介(SFT指令微调数据集+奖励模型排序数据集+RLHF数据集)、RLHF算法实现的三个阶段(监督指令微调→训练奖励模型→RLHF训练模型→推理量化和服务) 目录 ColossalChat的使用方法 1、ColossalChat相关的开源训练数据集 2、RLHF算法实现的三个阶段 3、推理量化和服务 - 训练后 ColossalChat的使用方法 1、ColossalChat相关的开源训练数据集 监督
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大F的智能小课

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值