持续更新 | 大模型与多模态训练部署利器：魔搭社区ms-swift框架完全指南

已于 2025-02-07 22:22:51 修改
阅读量1.7k 收藏 26
点赞数 10
分类专栏： 最前沿的大模型训练部署实践手册 每周追踪AI框架新动态 文章标签： swift 开发语言 ios nlp pytorch 深度学习 人工智能
于 2025-02-07 21:43:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MnivL/article/details/145503138
版权

SWIFT (Scalable lightWeight Infrastructure for Fine-Tuning)

​

​

论文 ｜ 中文文档 ｜ Swift2.x中文文档 | Swift3.x中文文档

1. 框架介绍

  • ms-swift 是魔搭社区提供的大模型与多模态大模型微调部署框架，具有丰富的功能和广泛的支持，以下是其主要介绍：

    模型与多模态模型支持

    • 模型数量及类型：现已支持 450 + 大模型与 150 + 多模态大模型的训练（包括预训练、微调、人类对齐）、推理、评测、量化与部署。具体模型包括 Qwen2.5、InternLM3、GLM4、Llama3.3、Mistral、DeepSeek - R1、Yi1.5、TeleChat2、Baichuan2、Gemma2 等大模型，以及 Qwen2.5 - VL、Qwen2 - Audio、Llama3.2 - Vision、Llava、InternVL2.5、MiniCPM - V - 2.6、GLM4v、Xcomposer2.5、Yi - VL、DeepSeek - VL2、Phi3.5 - Vision、GOT - OCR2 等多模态大模型。
    • 全流程支持：支持 All - to - All 全模态模型的训练到部署全流程。

    训练技术汇集

    汇集了最新的训练技术，包括 LoRA、QLoRA、Llama - Pro、LongLoRA、GaLore、Q - GaLore、LoRA + 、LISA、DoRA、FourierFt、ReFT、UnSloth、和 Liger 等。

    推理、评测与部署

    • 加速支持：支持使用 vLLM 和 LMDeploy 对推理、评测和部署模块进行加速。
    • 量化支持：支持使用 GPTQ、AWQ、BNB 等技术对大模型和多模态大模型进行量化。

    其他功能特点

    • 数据集支持

      • 内置数据集：内置 150 + 预训练、微调、人类对齐、多模态等各种类型的数据集。
      • 自定义支持：支持自定义数据集。

    • 硬件支持：支持 CPU、RTX 系列、T4/V100、A10/A100/H100、Ascend NPU 等硬件。

    • 分布式训练：支持分布式数据并行（DDP）、device_map 简易模型并行、DeepSpeed ZeRO2 ZeRO3、FSDP 等分布式训练技术。

    • 界面支持：提供基于 Gradio 的 Web - UI 界面。

    • 插件化与拓展：支持自定义模型和数据集拓展，支持对 loss、metric、trainer、loss - scale、callback、optimizer 等组件进行自定义。

    • 工具箱能力：除了对大模型和多模态大模型的训练支持外，还支持其推理、评测、量化和部署全流程。

    • 推理加速：支持 PyTorch、vLLM、LmDeploy 推理加速引擎，并提供 OpenAI 接口，为推理、部署和评测模块提供加速。

    • 模型评测：以 EvalScope 作为评测后端，支持 100 + 评测数据集对纯文本和多模态模型进行评测。

支持的模型和训练集

支持的模型和数据集 — swift 3.1.0.dev0 文档

模型类型模型标识
DeepSeek 系列​deepseek​, deepseek_coder​, deepseek_vl​, deepseek_janus​, deepseek_v2_5​, deepseek_r1​, deepseek_vl2​, deepseek_janus_pro​
Emu3 系列​emu3_gen​, emu3_chat​
Gemma 系列​gemma​, paligemma​
ChatGLM 系列​chatglm2​
GLM 系列​glm4v​, glm4​, glm_edge_v​
CodeGeeX 系列​codegeex4​
LongWriter 系列​longwriter_llama​
CogAgent 系列​cogagent_chat​, cogagent_vqa​
CogVLM 系列​cogvlm​, cogvlm2​, cogvlm2_video​
Llama 系列​llama​, llama3​, llama3_2​, llama3_2_vision​, llama3_1_omni​
Qwen 系列​qwen​, qwen2_5​, qwen2_5_math​, qwen2_5_math_prm​, qwen_vl​, qwen_audio​, qwen2_audio​, qwen2_vl​, qwen2_5_vl​
Qvq 系列​qvq​
Ovis 系列​ovis1_6​, ovis1_6_llama3​
Marco 系列​marco_o1​
Got OCR 系列​got_ocr2​
Idefics 系列​idefics3​
InternLM 系列​internlm​, internlm2​, internlm2_reward​
XComposer 系列​ixcomposer2​, xcomposer2_5​, xcomposer2_4khd​
Florence 系列​florence​
Phi 系列​phi3​, phi4​, phi3_vision​
InternVL 系列​internvl​, internvl_phi3​, internvl2​, internvl2_phi3​, internvl2_5​
Llava 系列​llava1_5_hf​, llava_next_video_hf​, llava1_6_mistral_hf​, llava1_6_vicuna_hf​, llava1_6_yi_hf​, llama3_llava_next_hf​, llava_next_qwen_hf​, llava_onevision_hf​, llava_llama3_1_hf​, llava_llama3_hf​, llava1_6_mistral​, llava1_6_yi​, llama3_llava_next​, llava_next_qwen​
Default 系列​default​
ModelScope Agent 系列​modelscope_agent​
Baichuan 系列​baichuan​
Numina 系列​numina​
Mistral 系列​mistral_nemo​
Xverse 系列​xverse​
Yuan 系列​yuan​
Ziya 系列​ziya​
Skywork 系列​skywork​, skywork_o1​
Bluelm 系列​bluelm​
CodeFuse 系列​codefuse_codellama​, codefuse​
Zephyr 系列​zephyr​
Sus 系列​sus​
Orion 系列​orion​
Telechat 系列​telechat​, telechat2​
Dbrx 系列​dbrx​
Mengzi 系列​mengzi​
C4AI 系列​c4ai​
WizardLM 系列​wizardlm2​, wizardlm2_moe​
Atom 系列​atom​
Aya 系列​aya​
Megrez 系列​megrez​, megrez_omni​
Minicpm 系列​minicpm​, minicpmv​, minicpmv2_5​, minicpmv2_6​, minicpmo2_6​
Minimax 系列​minimax​, minimax_vl​
Molmo 系列​molmo​
Mplug Owl 系列​mplug_owl2​, mplug_owl3​, mplug_owl3_241101​
Doc Owl 系列​doc_owl2​
OpenBuddy 系列​openbuddy​, openbuddy2​
Pixtral 系列​pixtral​
Valley 系列​valley​
Yi 系列​yi_coder​, yi_vl​

支持的训练方法

方法全参数LoRAQLoRADeepspeed多模态
预训练✅✅✅✅✅
指令监督微调✅✅✅✅✅
DPO训练✅✅✅✅✅
奖励模型训练✅✅✅✅✅
PPO训练✅✅✅✅❌
KTO训练✅✅✅✅✅
CPO训练✅✅✅✅✅
SimPO训练✅✅✅✅✅
ORPO训练✅✅✅✅✅
分类模型训练✅✅✅✅✅

2. 快速接入指南

使用pip进行安装：

pip install ms-swift -U -i https://mirrors.aliyun.com/pypi/simple/

运行环境：

范围推荐备注
python>=3.83.10
cudacuda12使用cpu、npu、mps则无需安装
torch>=2.0
transformers>=4.334.48.1
modelscope>=1.19
peft>=0.11.0,<0.15.0
trl>=0.13,<0.150.14.0RLHF
vllm>=0.5.10.6.5推理/部署/评测
lmdeploylmdeploy>=0.5,<0.6.50.6.4推理/部署/评测
deepspeed0.14.5训练

更多可选依赖可以参考这里。

最简示例

这里给出使用ms-swift进行训练到部署到最简示例，具体可以查看examples。

  • 若想使用其他模型或者数据集（含多模态模型和数据集），你只需要修改--model​指定对应模型的id或者path，修改--dataset​指定对应数据集的id或者path即可。
  • 默认使用ModelScope进行模型和数据集的下载。如果要使用HuggingFace，指定--use_hf true​即可。

  • 高速下载方法：modelscope 魔搭社区模型下载

常用链接

常用链接
🔥命令行参数
支持的模型和数据集
自定义模型, 🔥自定义数据集
大模型教程

3. 版本追踪站（核心动态区）

大更新

  • 🎁 2025.01.23: SWIFT支持了sample​命令, 这是一个对CoT和RFT非常重要的命令。同时, 我们支持了一个强化微调脚本。
  • 🎁 2024.12.04: SWIFT3.0大版本更新。请查看发布说明和更改。
  • 🎉 2024.08.12: SWIFT论文已经发布到arXiv上，可以点击这里阅读。
  • 🔥 2024.08.05: 支持使用evalscope作为后端进行大模型和多模态模型的评测。
  • 🔥 2024.07.29: 支持使用vllm, lmdeploy对大模型和多模态大模型进行推理加速，在infer/deploy/eval时额外指定--infer_backend vllm/lmdeploy​即可。
  • 🔥 2024.07.24: 支持对多模态大模型进行人类偏好对齐训练，包括DPO/ORPO/SimPO/CPO/KTO/RM/PPO。
  • 🔥 2024.02.01: 支持Agent训练！训练算法源自这篇论文。

小更新

🆕 v3.1.0 亮点速览
  • 新增数据采样、强化微调训练等功能。
  • 支持多种新模型。
  • 增添新数据集。
🆕 v3.0 亮点速览
  • 发布 ms-swift3.0，支持众多大模型与多模态大模型的训练、推理等。
  • 汇集最新训练技术。
  • 支持多种推理、量化加速技术。
  • 提供 Web-UI 界面及丰富实践。
  • 推出魔搭模型评测框架 EvalScope，支持多种模型和评测场景。

📅 更新日志墙

版本发布日期关键特性文档直达
3.1.02025.02.07强化微调ms-swift3.1.0 发布，多项新特性与新模型数据集来袭
3.02025.02.05模型训练与评测全链路支持SWIFT & EvalScope：魔搭社区大模型微调部署与评测的强大利器

4. 深度技术解析

  • 🔍 LoRA-Pro混合训练原理图解
  • 🎯 多模态对齐训练实战（附数据集）
  • ⚡ 量化部署性能优化手册

todo: 待更

5. 最佳实践

todo: 待更

6. 开发者生态

开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-01 3933
使用ms-swift高效微调qwen2-7b-instruct
多模态大模型：技术原理与实战 全球多模态大模型介绍
AI天才研究院
06-11 1940
关键词：多模态大模型、深度学习、计算机视觉、自然语言处理、跨模态学习、迁移学习、人工智能随着人工智能技术的飞速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。多模态大模型能够同时处理和理解多种类型的数据，如文本、图像、音频和视频等，这为AI系统在复杂场景下的应用提供了更加强大和灵活的能力。本文将深入探讨多模态大模型的技术原理，介绍其实战应用，并对全球主要的多模态大模型进行全面的介绍和比较。
AI大模型ms-swift框架实战指南（三）：模型部署初体验
最新发布
寻道AI，探索AI无限可能！
04-16 1383
ms-swift框架提供了一种便捷的部署方式，通过脚本命令“swift deploy”即可启动部署流程。同时，通过参数“–model”可以指定在线模型地址或者本地下载的模型路径，极大地提高了部署的灵活性。上述命令中，“CUDA_VISIBLE_DEVICES=0”指定使用0号GPU设备，“–model Qwen/Qwen2.5-7B-Instruct”指定了要部署的模型，“–infer_backend vllm”则指定使用vllm推理后端，以加速模型的推理过程。
大模型管理工具：SWIFT
m0_37559973的博客
05-13 7177
SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是魔搭ModelScope开源社区推出的一套完整的轻量级训练、推理、评估和部署工具，支持200+大模型、15+多模态大模型以及10+轻量化Tuners，让AI爱好者能够使用自己的消费级显卡玩转大模型和AIGC。
SWIFT - 轻量级微调模型框架 [魔搭]
技术文档翻译分享
04-06 1366
🍲 ms-swift是魔搭社区提供的大模型与多模态大模型微调部署框架，现已支持450+大模型与150+多模态大模型的训练（预训练、微调、人类对齐）、推理、评测、量化与部署。其中大模型包括：Qwen2.5、InternLM3、GLM4、Llama3.3、Mistral、DeepSeek-R1、Yi1.5、TeleChat2、Baichuan2、Gemma2等模型；
基于SWIFT和Qwen1.5-0.5B-Chat进行大模型全参微调（魔搭社区）
m0_65156252的博客
09-24 1175
2，微调后模型推理：CUDA_VISIBLE_DEVICES=0 swift infer --ckpt_dir llm_sft_output/qwen1half-0_5b-chat/v2-20240924-164207/checkpoint-79。1，微调前模型推理：CUDA_VISIBLE_DEVICES=0 swift infer --model_type qwen1half-0_5b-chat --model_id_or_path Qwen1.5-0.5B-Chat。执行--bash run.sh。
SWIFT & EvalScope：魔搭社区大模型微调部署与评测的强大利器
MnivL的博客
02-07 1150
本文主要介绍了魔搭社区的两大重要框架 ——SWIFT 和 EvalScope。SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是大模型与多模态大模型微调部署框架，ms-swift 3.0 已发布，支持 450 + 大模型及 150 + 多模态大模型的训练等环节，汇集多种训练技术，支持加速与量化，还提供 Web - UI 界面。EvalScope 是模型评测与性能基准测试框架，支持多种模型类型和评测场景，内置常用测试基准和指标，且与 ms -
【ms-swift 大模型微调实战】
放飞自我的coder
10-28 1555
【代码】【ms-swift 大模型微调实战】
swift微调多模态大语言模型
liguandong
05-05 1918
Qwen1.5微调训练脚本中，我用到了--dataset new_data.jsonl 这个选项， 可以训练成功，但我看文档有提到--custom_train_dataset_path这个选项，这两个有什么区别呢，是不是对自己生成的数据集用--dataset new_data.jsonl 这种方式是不对的，但是为什么又确实训练成功了呢（至少模型确实学习到了训练资料中的知识） # Experimental environment: A100 # 2*40GB GPU me...
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机单卡-V100（十二）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
08-30 4130
使用ms-swift高效微调qwen2-7b-instruct
本地部署大模型—MiniCPM-V 2.0: 具备领先OCR和理解能力的高效端侧多模态大模型
01-16 9921
MiniCPM-V 2.0作为 MiniCPM 系列最新的多模态大模型，该模型具有强大的 OCR 识别和多模态理解能力，表现了出可信的行为、任意长宽比高清图像感知、良好的推理效率以及双语支持。我们希望此次发布能够促进社区对端侧多模态大模型的探索。
MS-Swift: 革新性的大语言模型微调工具
Nifc666的博客
10-22 1802
MS-Swift是一个功能强大、使用灵活的开源工具库，专门用于大语言模型和多模态大语言模型的微调。它支持对超过300种LLM和60多种MLLM进行参数高效微调(PEFT)或全参数微调，涵盖了当前主流的各类模型，如Qwen2、GLM4v、Internlm2.5、Yi、Llama3.1、Llava-Video、Internvl2、MiniCPM-V-2.6、Deepseek、Baichuan2、Gemma2和Phi3-Vision等。正在上传…重新上传取消。
V100 上用 ms-swift 框架部署 DeepSeek-R1-Distill-Qwen-7B 超全攻略
MnivL的博客
02-06 2153
本文详细介绍如何运用 ms - swift 框架在 V100 设备上部署 DeepSeek - R1 - Distill - Qwen - 7B 模型。开篇明确所需环境，如 x86_64 架构、ubuntu 22.04 或 centos 7 系统、V100 GPU 等。接着依次阐述依赖安装、模型下载步骤，还展示推理测试、部署测试及并发测试过程。
AI大模型ms-swift框架实战指南（一）：框架基础篇之全景概览
寻道AI，探索AI无限可能！
04-15 1742
swift框架，全称为Scalable lightWeight Infrastructure for Fine - Tuning，由魔搭社区精心打造。魔搭社区在人工智能领域积累深厚，开发swift框架旨在解决传统大模型开发中的效率和资源管理难题。其研发团队汇聚了人工智能领域的专家，经过大量调研、实验和优化，推出了这款集高效、灵活、轻量于一体的综合性工具集，整合了大模型开发从数据处理到部署的全流程功能。在本篇章中，我们全面认识了swift框架。
ms-swift 3.x和2.x中参数不一致的暗坑
jiangqixing0728的博客
02-26 526
虽然ms-swift 3.x发布也有一段时间 官方文档也对使用上参数的变动做了一些说明但是这个说明基本上都是说发生了变化对于一些的变化 暂时还没给出说明/统计文档我这边基于工作中遇到的一些坑，整理了部分，希望大家在使用的时候留意。注意，在这个文档里官方已给出的参数差异我在这不做赘述分析，只展示我个人发现的一些暗坑，时间关系没有做精准校对，如果发现写错or官方更新文档 还请评论区提醒我。
swift中文文档_重磅！！！Swift 5.0 官方文档中文版新鲜出炉
weixin_39614094的博客
12-10 5140
SwiftGG翻译组最近偷偷搞了个大事情，是什么呢？是大家期待已久的 Swift 5.0 官方文档中文版以下是电脑上的效果：以下是手机上的效果SwiftGG翻译组一直致力于精品技术文章的翻译，并一直主持 Swift 官方文档的翻译工作，从 1.0 到现在的 5.0，其间许多贡献者参与翻译和校对。感谢所有贡献者。SwiftGG 官方网站：https://swift.gg/SwiftGG g...
【DeepSeek微调实践】DeepSeek-R1大模型基于MS-Swift框架部署/推理/微调实践大全
寻道AI，探索AI无限可能！
03-31 5205
MS - Swift 是一款专为大模型部署而精心打造的高效框架，具备出色的兼容性与丰富的功能特性。在模型类型支持上，无论是专注于文本处理的纯文本模型，还是融合文本、图像、音频等多种信息模态的多模态模型，亦或是擅长文本序列分类任务的序列分类模型，MS - Swift 均能为其提供适配的部署环境。另外在功能层面，MS - Swift 框架提供了基于 Gradio 的 Web UI。
【LLM大模型】介绍一个大语言模型的微调框架Swift
2301_81940605的博客
07-18 1490
微调（Fine-tuning）是指在已经预训练好的大语言模型基础上，使用特定领域或任务的数据集进行进一步的训练，使模型能够更好地适应并完成该领域或任务的具体要求。预训练的大语言模型通常在大规模通用语料库上进行训练，学习了语言的普遍规律和特征，但对于特定领域或任务的专业知识和特定需求，往往需要通过微调来优化。
ms-swift 部署多模态大模型
03-23
### 如何使用 MS-Swift 郱署多模态大模型 MS-Swift 是一种用于部署机器学习模型的工具集，特别适用于大规模和复杂的模型架构。为了实现多模态大模型的部署，可以遵循以下方法论： #### 工具准备与环境配置 在开始之前，需确保安装并配置好必要的依赖项以及框架支持。通常情况下，这包括但不限于 Python 环境、PyTorch 或 TensorFlow 的版本兼容性验证，以及其他可能涉及的数据处理库。 对于 BigQuery 和 K-Means 聚类的应用场景[^1]，虽然其主要关注的是数据分析而非模型部署，但它提供了一种思路——通过分析数据特征来优化模型输入结构。这种技术同样可应用于多模态模型中的数据预处理阶段。 ```bash pip install ms-swift torch torchvision transformers datasets ``` 上述命令展示了如何设置基础开发环境以支持后续操作。 #### 数据预处理 多模态模型的特点在于它能够同时处理多种类型的信息源（如图像、文本）。因此，在实际应用前，必须对不同形式的数据进行标准化转换。例如： - 图像可以通过 `torchvision.transforms` 进行尺寸调整、归一化等； - 文本则利用 Hugging Face 提供的 `transformers` 库完成分词编码工作。 以下是简单的代码片段展示这一过程： ```python from PIL import Image import requests from transformers import CLIPProcessor, CLIPModel model = CLIPModel.from_pretrained("openai/clip-vit-base-patch32") processor = CLIPProcessor.from_pretrained("openai/clip-vit-base-patch32") url = "http://images.cocodataset.org/val2017/000000039769.jpg" image = Image.open(requests.get(url, stream=True).raw) inputs = processor(text=["a photo of a cat", "a photo of a dog"], images=image, return_tensors="pt", padding=True) outputs = model(**inputs) logits_per_image = outputs.logits_per_image # this is the image-text similarity score probs = logits_per_image.softmax(dim=1) # we can take the softmax to get probability distribution over texts print(probs) ``` 此部分重点介绍了基于 CLIP 模型的跨模态匹配逻辑[^2]，其中包含了图片加载、文字描述向量化的过程。 #### 模型训练与微调 当准备好高质量的数据之后，下一步便是构建或者迁移已有的大型预训练网络至特定领域任务上。考虑到资源消耗较大，建议采用分布式计算策略加速收敛速度。具体而言，可通过 PyTorch Lightning 来简化实验流程管理；而 DDP (Distributed Data Parallel) 技术则是提升 GPU 利用率的有效手段之一。 值得注意的是，尽管 Symfony PHP 生态圈内的某些组件并非直接关联于此话题，但从软件工程角度出发，借鉴这些成熟项目的模块设计理念有助于提高整体系统的稳定性和扩展能力。 #### 推理服务搭建 最后一步就是将经过充分测试后的最终产物发布出去供外部访问。这里推荐几种常见的做法： 1. **RESTful API**: 使用 Flask/Django 构建轻量级接口服务器。 2. **gRPC**: 对于低延迟需求较高的实时应用场景更为合适。 3. **ONNX Runtime**: 如果目标平台不完全支持原生框架运行时，则考虑导出 ONNX 文件作为中间媒介再转接给其他执行引擎解析执行。 综上所述，整个项目周期涵盖了从原始素材收集整理到线上功能上线等多个环节，每一步都需要精心规划才能达成预期效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

歌刎

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值