【无需服务器】零代码微调Qwen3，非常详细收藏这一篇就够！

AI大模型-大飞

于 2025-05-04 16:11:24 发布

阅读量611

点赞数 19

文章标签： Qwen3 大模型微调程序员人工智能 AI 大模型 AI大模型

本文链接：https://blog.csdn.net/m0_63171455/article/details/147700544

版权

有鼠标就行的

大模型微调喂饭教

一、项目介绍

（一）MS-Swift 简介

嗨喽，今天小编将为大家带来 MS-Swift 的大模型微调教程。ms-swift 是魔搭社区提供的大模型与多模态大模型训练部署框架，现已支持 450 + 大模型与 150 + 多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。模型开发者可以在 ms-swift 框架中一站式完成围绕大模型的各类需求。

（二）MS-Swift 主要能力

1.模型类型

支持 450 + 纯文本大模型、150 + 多模态大模型以及 All-to-All 全模态模型、序列分类模型、Embedding 模型训练到部署全流程。

2.数据集类型

内置 150 + 预训练、微调、人类对齐、多模态等各种类型的数据集，并支持自定义数据集。

3.硬件支持

CPU、RTX 系列、T4/V100、A10/A100/H100、Ascend NPU、MPS 等。

4.轻量训练

支持了 LoRA、QLoRA、DoRA、LoRA+、ReFT、RS-LoRA、LLaMAPro、Adapter、GaLore、Q-Galore、LISA、UnSloth、Liger-Kernel 等轻量微调方式。

5.分布式训练

支持分布式数据并行（DDP）、device_map 简易模型并行、DeepSpeed ZeRO2 ZeRO3、FSDP 等分布式训练技术。

6.量化训练

支持对 BNB、AWQ、GPTQ、AQLM、HQQ、EETQ 量化模型进行训练。

7.RLHF 训练

支持纯文本大模型和多模态大模型的 DPO、GRPO、RM、PPO、KTO、CPO、SimPO、ORPO 等人类对齐训练方法。

8.多模态训练

支持对图像、视频和语音不同模态模型进行训练，支持 VQA、Caption、OCR、Grounding 任务的训练。

9.界面训练

以界面的方式提供训练、推理、评测、量化的能力，完成大模型的全链路。

10.插件化与拓展

支持自定义模型和数据集拓展，支持对 loss、metric、trainer、loss-scale、callback、optimizer 等组件进行自定义。

11.工具箱能力

除了对大模型和多模态大模型的训练支持外，还支持其推理、评测、量化和部署全流程。

12.推理加速

支持 PyTorch、vLLM、LmDeploy 推理加速引擎，并提供 OpenAI 接口，为推理、部署和评测模块提供加速。

13.模型评测

以 EvalScope 作为评测后端，支持 100 + 评测数据集对纯文本和多模态模型进行评测。

14.模型量化

支持AWQ、GPTQ 和BNB 的量化导出，导出的模型支持使用 vLLM/LmDeploy 推理加速，并支持继续训练。

二、准备环节

（一）访问CloudStudio社区版应用MS-SWIFT

https://cloudstudio.net/a/26719723337732096

（二）复刻应用并打开预览地址

（三）配置模型、数据集(均支持在线下载与本地路径)等必要信息

1.模型

为便于演示，本次使用Qwen/Qwen3-4B作为训练模型

2.数据集

为便于演示，本次使用弱智吧作为训练数据集

三、开始训练

（一）开始训练并监督微调状态

（二）与微调好的大模型对话

以上就是小编分享的有关

Qwen3-4B大模型微调案例的全部内容了

如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。