基于SWIFT框架的Phi-3推理、微调实战教程

最新推荐文章于 2024-10-26 20:53:31 发布
最新推荐文章于 2024-10-26 20:53:31 发布
阅读量1.4k 收藏 11
点赞数 33
分类专栏： 大模型微调实战 文章标签： swift 人工智能 语言模型 llama3 自然语言处理 lora
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45156060/article/details/138522606
版权

近期， Microsoft 推出 Phi-3，这是 Microsoft 开发的一系列开放式 AI 模型。Phi-3 模型是一个功能强大、成本效益高的小语言模型 (SLM)，在各种语言、推理、编码和数学基准测试中，在同级别参数模型中性能表现优秀。为开发者构建生成式人工智能应用程序时提供了更多实用的选择。

从今天开始，Phi-3-mini（参数量3.8B）发布，可在魔搭社区上下载使用：

  • Phi-3-mini 有两种上下文长度变体 - 4K 和 128K 令牌，支持128K 个令牌的上下文窗口的模型。

  • 支持指令微调，通过指令微调可以遵循反映人们正常沟通方式的不同类型的指令，保障了模型可以开箱即用。

  • 针对ONNX进行了优化，支持 GPU、CPU 甚至移动硬件的跨平台支持。

在未来几周内，Phi-3 系列将添加更多型号，为客户在质量成本曲线上提供更大的灵活性。Phi-3-small (7B) 和Phi-3-medium (14B) 很快就会提供。   

Phi-3 模型在关键基准测试中具有显著的优势（请参阅下面的基准数据，越高越好）。 

注意：Phi-3 模型在事实知识基准（例如 TriviaQA）上的表现不佳，因为较小的模型大小会导致保留事实的能力较低。 

图片

模型链接和下载

Phi-3系列模型现已在ModelScope社区开源：

模型名称

模型链接

Phi-3-mini-128k-instruct

https://www.modelscope.cn/models/LLM-Research/Phi-3-mini-128k-instruct

Phi-3-mini-4k-instruct

https://modelscope.cn/models/LLM-Research/Phi-3-mini-4k-instruct

Phi-3-mini-4k-instruct-onnx

https://modelscope.cn/models/LLM-Research/Phi-3-mini-4k-instruct-onnx

Phi-3-mini-128k-instruct-onnx

https://modelscope.cn/models/LLM-Research/Phi-3-mini-128k-instruct-onnx

社区支持直接下载模型的repo：

from modelscope import snapshot_download
model_dir = snapshot_download("LLM-Research/Phi-3-mini-128k-instruct")

模型体验

创空间体验链接：

https://modelscope.cn/studios/LLM-Research/Phi-3-mini-128k-instruct-demo

开脑洞问题：

图片

四则运算：

图片

中文问答会有比较多的一些重复回答：

图片

模型推理 

本文使用的模型为Phi-3-mini-128k-instruct 模型，在PAI-DSW运行（单卡A10） 。

模型推理

import torch
from modelscope import snapshot_download
from transformers import AutoModelForCausalLM, AutoTokenizer, pipeline

torch.random.manual_seed(0)

model_dir = snapshot_download("LLM-Research/Phi-3-mini-128k-instruct")

model = AutoModelForCausalLM.from_pretrained(
    model_dir, 
    device_map="cuda", 
    torch_dtype="auto", 
    trust_remote_code=True, 
)
tokenizer = AutoTokenizer.from_pretrained(model_dir)

messages = [
    {"role": "system", "content": "You are a helpful digital assistant. Please provide safe, ethical and accurate information to the user."},
    {"role": "user", "content": "Can you provide ways to eat combinations of bananas and dragonfruits?"},
    {"role": "assistant", "content": "Sure! Here are some ways to eat bananas and dragonfruits together: 1. Banana and dragonfruit smoothie: Blend bananas and dragonfruits together with some milk and honey. 2. Banana and dragonfruit salad: Mix sliced bananas and dragonfruits together with some lemon juice and honey."},
    {"role": "user", "content": "What about solving an 2x + 3 = 7 equation?"},
]

pipe = pipeline(
    "text-generation",
    model=model,
    tokenizer=tokenizer,
)

generation_args = {
    "max_new_tokens": 500,
    "return_full_text": False,
    "temperature": 0.0,
    "do_sample": False,
}

output = pipe(messages, **generation_args)
print(output[0]['generated_text'])

资源消耗：

ONNX格式模型推理

在魔搭社区的免费CPU算力体验ONNX模型推理：

git clone https://www.modelscope.cn/LLM-Research/Phi-3-mini-4k-instruct-onnx.git
pip install --pre onnxruntime-genai
curl https://raw.githubusercontent.com/microsoft/onnxruntime-genai/main/examples/python/model-qa.py -o model-qa.py
python model-qa.py -m Phi-3-mini-4k-instruct-onnx/cpu_and_mobile/cpu-int4-rtn-

 模型微调和微调后推理

我们使用SWIFT来对模型进行微调, SWIFT是魔搭社区官方提供的LLM&AIGC模型微调推理框架. 

微调代码开源地址: 

https://github.com/modelscope/swift

环境准备:


git clone https://github.com/modelscope/swift.git
cd swift
pip install -e .[all]

我们使用混合数据集来增强模型的中文能力和Agent能力

使用到的数据集有

- COIG-CQIA：

https://modelscope.cn/datasets/AI-ModelScope/COIG-CQIA/summary 该数据集包含了中国传统知识、豆瓣、弱智吧、知乎等中文互联网信息

- 魔搭通用Agent训练数据集: 

https://modelscope.cn/datasets/AI-ModelScope/ms-agent-for-agentfabric/summary

- alpaca-en: 

https://modelscope.cn/datasets/AI-ModelScope/alpaca-gpt4-data-en/summary

- ms-bench魔搭通用中文问答数据集: 

https://modelscope.cn/datasets/iic/ms_bench/summary

微调脚本: 

LoRA+ddp

 


CUDA_VISIBLE_DEVICES=0,1,2,3
NPROC_PER_NODE=4 \
swift sft \
  --model_type phi3-4b-4k-instruct \
  --dataset ms-agent-for-agentfabric-default alpaca-en ms-bench ms-agent-for-agentfabric-addition coig-cqia-ruozhiba coig-cqia-zhihu coig-cqia-exam coig-cqia-chinese-traditional coig-cqia-logi-qa coig-cqia-segmentfault coig-cqia-wiki \
  --batch_size 2 \
  --max_length 2048 \
  --use_loss_scale true \
  --gradient_accumulation_steps 16 \
  --learning_rate 5e-5 \
  --use_flash_attn true \
  --eval_steps 500 \
  --save_steps 500 \
  --train_dataset_sample -1 \
  --dataset_test_ratio 0.1 \
  --val_dataset_sample 10000 \
  --num_train_epochs 2 \
  --check_dataset_strategy none \
  --gradient_checkpointing true \
  --weight_decay 0.01 \
  --warmup_ratio 0.03 \
  --save_total_limit 2 \
  --logging_steps 10 \
  --sft_type lora \
  --lora_target_modules ALL \
  --lora_rank 8 \
  --lora_alpha 32

 训练过程支持本地数据集，需要指定如下参数:


--custom_train_dataset_path xxx.jsonl \
--custom_val_dataset_path yyy.jsonl \

自定义数据集的格式可以参考：

https://github.com/modelscope/swift/blob/main/docs/source/LLM/%E8%87%AA%E5%AE%9A%E4%B9%89%E4%B8%8E%E6%8B%93%E5%B1%95.md

微调后推理脚本: （这里的ckpt_dir需要修改为训练生成的checkpoint文件夹）


# Experimental environment: A100
CUDA_VISIBLE_DEVICES=0 \
swift infer \
    --ckpt_dir "/path/to/output/phi3-4b-4k-instruct/vx-xxx/checkpoint-xxx" \
    --load_dataset_config true \
    --max_new_tokens 2048 \
    --temperature 0.1 \
    --top_p 0.7 \
    --repetition_penalty 1. \
    --do_sample true \
    --merge_lora false \

 LLM Agent

我们可以部署训练后的模型与Modelscope-Agent联合使用，搭建一个可以调用API的LLM Agent

更详细的内容参考我们的官方文档https://github.com/modelscope/swift/blob/main/docs/source/LLM/Agent%E5%BE%AE%E8%B0%83%E6%9C%80%E4%BD%B3%E5%AE%9E%E8%B7%B5.md#%E5%9C%A8%E5%91%BD%E4%BB%A4%E8%A1%8C%E4%B8%AD%E4%BD%BF%E7%94%A8agent 

效果展示

模型部署后，在AgentFabric中体验Agent

图片

存在的问题

最终微调后的模型虽然具备调用API能力，但能力较弱，输入需要给出较强提示调用正确的API。

模型回复存在叠词现象，原模型同样存在这个问题，可能的原因是模型预训练的中文能力不足，需要更大的中文语料训练或者扩充词表来解决。

资源占用

微调 lora+ddp

图片

部署

图片

讨论交流

关注公众浩【AI疯人院】回复【加群】，同时内有LLM入门学习教程

IT大头
关注
专栏目录
LLaMA Factory单机微调的实战教程
herosunly的博客
04-24 11万+
本文主要介绍了使用LLaMA Factory对大模型进行单机微调的实战教程，希望对学习大语言模型的同学们有所帮助。 文章目录 1. 前言 2. 配置环境 2.1 安装虚拟环境 2.2 安装依赖库 2.3 模型选型与下载 3. 运行代码 3.1 构建训练数据 3.2 修改配置文件 3.3 微调
LLM：使用SWIFT框架进行 自我认知微调
微风❤水墨
02-23 1034
如果设置了self_cognition_sample，则调用add_self_cognition_dataset。3：生成self_cognition_sample个随机索引。5：将自我认知数据和其他训练数据拼接到一起，作为最终训练数据。1：加载本地的self_cognition.jsonl数据。2：替换name与author。4：根据索引生成自我认知数据集。
swift自定义数据集微调Qwen-7B大模型，转换模型后使用ollama跑起来
盛世芳华
08-27 1833
-model_name 阿盛 Master Coder \--model_author 盛世芳华 LLM_ROME \微调时，只需指定--dataset为本地csv文件路径即可，csv文件的格式如下：instruction是问题，input大概能理解为问题背景，output为答案，数据集准备好以后就可以直接进行训练。ms-swift/docs/source/LLM/自定义与拓展.md at main · modelscope/ms-swift (github.com)
【大模型微调】SWIFT：一种可扩展的轻量级基础设施用于微调
数智笔记
08-13 1500
最近在大型语言模型（LLMs）和多模态大型语言模型（MLLMs）方面的发展，利用基于注意力的Transformer架构，实现了卓越的性能和泛化能力。它们已经涵盖了传统学习任务的许多领域。例如，基于文本的任务，如文本分类和序列标注，以及以前使用不同模型解决的多模态任务，如视觉问答（VQA）和光学字符识别（OCR），现在可以基于一个基础模型处理。因此，LLMs和MLLMs，尤其是基于Transformer架构的模型的训练和轻量级微调，变得尤为重要。
10分钟微调专属于自己的大模型
2201_75499313的博客
12-19 2015
本文主要介绍使用魔搭社区轻量级训练推理工具SWIFT，进行大模型自我认知微调，帮助初阶炼丹师快速微调出专属于自己的大模型。SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是，基于PyTorch的轻量级、开箱即用的模型微调、推理框架，让AI爱好者用自己的消费级显卡就能玩转大模型和AIGC。接下来进入手把手实操，**微调前推理 **
LLM/MLLM之SWIFT：SWIFT(一个用于微调的可伸缩轻量级基础设施的工具)的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-28 3179
​ LLM/MLLM之SWIFT：SWIFT(一个用于微调的可伸缩轻量级基础设施的工具)的简介、安装和使用方法、案例应用之详细攻略 目录 SWIFT的简介 SWIFT的安装和使用方法 SWIFT的案例应用 SWIFT的简介 SWIFT(Scalable lightWeight Infrastructure for Fine-Tuning)是一个用于微调的可伸缩轻量级基础设施的工具，支持近200种LLM和MLLM（多模
2024/9/6 Swift框架下模型训练和推理
m0_65156252的博客
09-06 331
需要修改infer.sh中路径为训练模型的输出路径----ckpt_dir "/mnt/workspace/swift/examples/pytorch/llm/output/qwen-7b-chat-int8/v0-20240906-094214/checkpoint-100" \。一、qwen_7b_chat_int8。
【LLM大模型】介绍一个大语言模型的微调框架Swift
2301_81940605的博客
07-18 926
微调（Fine-tuning）是指在已经预训练好的大语言模型基础上，使用特定领域或任务的数据集进行进一步的训练，使模型能够更好地适应并完成该领域或任务的具体要求。预训练的大语言模型通常在大规模通用语料库上进行训练，学习了语言的普遍规律和特征，但对于特定领域或任务的专业知识和特定需求，往往需要通过微调来优化。
Swift大模型微调以及批量推理验证
2401_85375186的博客
06-07 1517
在深度学习和自然语言处理（NLP）领域，大规模语言模型如BERT、GPT-3等通过在大量数据上进行预训练获得了强大的语言理解和生成能力。这些预训练模型通常需要进行微调（Fine-tuning），以便在特定的下游任务上表现更好。微调可以采取不同的形式，包括full、LoRA和Q-LoRA。
LLM - 配置 ModelScope SWIFT 测试 Qwen2-VL 图像微调(LoRA) 教程(2)
Mystra
10-12 1203
SWIFT 即 Scalable lightWeight Infrastructure for FineTuning (可扩展轻量级微调基础设施)，是高效、轻量级的模型微调和推理框架，支持大语言模型(LLM) 和 多模态大型模型(MLLM) 的训练、推理、评估和部署。可以将 SWIFT 框架直接应用到研究和生产环境中，实现从模型训练和评估到应用的完整工作流程。
swift使用internvl2微调测试部署ocr识别数据
liguandong
10-05 616
MLLM: Qwen2-VL, Qwen2-Audio, Llama3.2-Vision, Llava, InternVL2, MiniCPM-V-2.6, GLM4v, Xcomposer2.5, Yi-VL, DeepSeek-VL, Phi3.5-Vision, ...) - ms-swift/docs/source/Multi-Modal/qwen2-vl最佳实践.md at main · modelscope/ms-swift。没使用ds，deepspeed没跑起来，为了快速训练就没折腾了。
多图理解，更懂中文，支持function call的Phi-3.5来了！
人工智能曾小健
10-23 13
使用ollama create命令创建自定义模型。
模型摘要语言模型 Phi-1.5 是一个具有13 亿个参数的 Transformer。它使用与phi-1相同的数据源进行训练，并增加了一个由各种 NLP 合成文本组成的新数据源。在根据测试常识、语言
最新发布
人工智能曾小健
10-26 10
Phi-1.5-Phi-1.5-1.3B, Llama-Factory可调，先去找了魔搭，发现其发布的sha256和官方不一致，遂去ms官方去下载。phi1本来是MBPP和humanEval同级别同期间分数最高的。但是我找了llama-factory和swift，没见其开始支持(2024,10,26),所以先从1.5版本开始。下载完后上传到魔搭。Phi-1.5-
端侧可用的 GPT-4V 级单图、多图、视频多模态大模型
人工智能曾小健
08-13 348
是面向图文理解的端侧多模态大模型系列。该系列模型接受图像和文本输入，并提供高质量的文本输出。自2024年2月以来，我们共发布了5个版本模型，旨在实现: 🔥🔥🔥MiniCPM-V系列的最新、性能最佳模型。总参数量 8B，单图、多图和视频理解性能。在单图理解上，它取得了优于GPT-4o mini、Gemini 1.5 Pro 和 Claude 3.5 Sonnet等商用闭源模型的表现，并进一步优化了 MiniCPM-Llama3-V 2.5 的 OCR、可信行为、多语言支持以及端侧部署等诸多特性。
swift微调Qwen-7B大模型
盛世芳华
08-23 1000
CUDA相关环境已搭建完成，不会装CUDA环境可参照我的其它文章；显卡：4张3090。
Swift常用Lora微调参数以及常用值（个人参考用）
qq_39257634的博客
07-24 655
【代码】Swift常用Lora微调参数以及常用值。
swift微调款框架使用自定义数据集进行通义千问1.5的微调
Climbman的博客
08-20 541
通义千问（T2IQA）是一个基于Transformer架构的问答系统，本文将介绍如何使用自定义数据集对Swift语言版本的通义千问进行微调，以适应特定的问题和领域。答：选择合适的超参数是微调过程中的一个重要步骤，可以根据经验和实验结果来选择超参数，也可以使用网格搜索等方法进行超参数调优，以获得最佳的微调效果。2、准备自定义数据集：收集与所需领域相关的问题和对应的正确答案，并将其整理成适合训练的形式，确保数据集的质量和多样性，以提高微调的效果。swift微调款框架使用自定义数据集进行通义千问1.5的微调。
利用swift框架微调面壁小钢炮2.0
weixin_51074012的博客
07-01 1603
【代码】利用swift框架微调面壁小钢炮2.0。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

IT大头

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值