2024/9/6 Swift框架下模型训练和推理

最新推荐文章于 2024-10-18 11:17:38 发布
最新推荐文章于 2024-10-18 11:17:38 发布
阅读量311 收藏
点赞数 2
文章标签： swift 开发语言 ios
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65156252/article/details/141954233
版权

一、qwen_7b_chat_int8

git clone https://github.com/modelscope/swift.git

1,swift框架下文件路径：
/swift/examples/pytorch/llm/scripts/qwen_7b_chat_int8/qlora/sft.sh
/swift/swift/llm/utils/dataset.py
/swift/swift/llm/sft.py
2,训练：
bash scripts/qwen_7b_chat_int8/qlora/sft.sh
3,推理：
需要修改infer.sh中路径为训练模型的输出路径----ckpt_dir "/mnt/workspace/swift/examples/pytorch/llm/output/qwen-7b-chat-int8/v0-20240906-094214/checkpoint-100" \


bash scripts/qwen_7b_chat_int8/qlora/infer.sh

m0_65156252
关注
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
丨汀、的博客
05-22 581
LLM 大模型学习必知必会系列(七)：掌握分布式训练与LoRA/LISA微调：打造高性能大模型的秘诀进阶实战指南
SWIFT:让大模型微调变得简单高效
步子哥的博客
08-03 657
SWIFT的出现,无疑为大模型的定制化应用铺平了道路。它集成了当前最先进的训练技术,提供了全面的模型支持,同时保持了简单易用的特性。无论是初学者还是经验丰富的AI研究人员,都能在SWIFT中找到适合自己的工具。随着AI技术的不断发展,像SWIFT这样的开源框架将发挥越来越重要的作用。它不仅推动了技术的民主化,也为AI创新提供了重要的基础设施支持。可以预见,在SWIFT的助力下,更多创新的AI应用将会涌现,为各行各业带来新的机遇和变革。
SWIFT介绍和学习(简单入门级别)
weixin_43870390的博客
03-20 2258
SWIFT（可扩展的轻量级微调基础设施）是一个可扩展的框架，旨在促进轻量级模型的微调和推理。它通过采用参数高效、内存高效和时间高效的方法，集成了各种高效微调方法的实现。SWIFT无缝集成到ModelScope生态系统中，并提供微调各种模型的能力，主要侧重于LLM和视觉模型。此外，SWIFT与PEFT完全兼容，使用户能够利用熟悉的PEFT接口来微调ModelScope模型。可以支持的微调方法及具体使用指导Swift是一个提供LLM模型轻量级训练和推理的开源框架。
轻而易举的让你看懂‘’Swift‘’
weixin_54803466的博客
05-21 299
SWIFT是iOS、MacOS、Watch OS和tvOS应用程序开发的一种新的编程语言。尽管如此，SWIFT的许多部分将从您在C和Object-C中开发的经验中耳熟能详。 SWIFT提供了它自己的所有基本C和Object-C类型的版本，包括Int对于整数，Double和Float对于浮点值，Bool对于布尔值，以及String用于文本数据。SWIFT还提供了三种主要集合类型的强大版本，Array, Set，和Dictionary。 与C一样，SWIFT使用变量通过标识名存储和引用值。SWIFT还广泛使用了
10分钟微调专属于自己的大模型
2201_75499313的博客
12-19 1937
本文主要介绍使用魔搭社区轻量级训练推理工具SWIFT，进行大模型自我认知微调，帮助初阶炼丹师快速微调出专属于自己的大模型。SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是，基于PyTorch的轻量级、开箱即用的模型微调、推理框架，让AI爱好者用自己的消费级显卡就能玩转大模型和AIGC。接下来进入手把手实操，**微调前推理 **
推荐：MLKit - 简单易用的Swift机器学习框架
gitblog_00011的博客
06-12 842
推荐：MLKit - 简单易用的Swift机器学习框架???? MLKit A simple machine learning framework written in Swift ???? 项目地址: https://gitcode.com/gh_mirrors/mlkit...
基于SWIFT框架的Phi-3推理、微调实战教程
IT大头的博客
05-07 1473
近期， Microsoft 推出 Phi-3，这是 Microsoft 开发的一系列开放式 AI 模型。Phi-3 模型是一个功能，在各种语言、推理、编码和数学基准测试中，在同级别参数模型中性能表现优秀。为开发者构建生成式人工智能应用程序时提供了更多实用的选择。从今天开始，（参数量3.8B）发布，可在魔搭社区上下载使用：Phi-3-mini 有两种上下文长度变体 - 4K 和 128K 令牌，支持128K 个令牌的上下文窗口的模型。
大模型管理工具：SWIFT
m0_37559973的博客
05-13 3685
SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是魔搭ModelScope开源社区推出的一套完整的轻量级训练、推理、评估和部署工具，支持200+大模型、15+多模态大模型以及10+轻量化Tuners，让AI爱好者能够使用自己的消费级显卡玩转大模型和AIGC。
Swift之Vision 图像识别框架
RunningKing
11-29 5426
Swift之Vision 图像识别框架 2017年苹果大大又推出了新机型iPhone 8和iPhone 8Plus, 这还不是重点, 重点是那一款价值9000RMB的iPhone X, 虽说网上吐槽声从未停止过, 但是我觉得还是不错的哈! 软件方面, 苹果大大也推出了iOS 11, 经本人iPhone 7手机亲测, 耗电快外加通知栏改不完的bug 当然了随着iOS 11的推出, 也随之推出了一些新的
Swift大模型微调以及批量推理验证
2401_85375186的博客
06-07 1404
在深度学习和自然语言处理（NLP）领域，大规模语言模型如BERT、GPT-3等通过在大量数据上进行预训练获得了强大的语言理解和生成能力。这些预训练模型通常需要进行微调（Fine-tuning），以便在特定的下游任务上表现更好。微调可以采取不同的形式，包括full、LoRA和Q-LoRA。
LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战
丨汀、的博客
05-28 1087
LLM 大模型学习必知必会系列(十三)：基于SWIFT的VLLM推理加速与部署实战
swift微调多模态大语言模型
liguandong
05-05 1320
Qwen1.5微调训练脚本中，我用到了--dataset new_data.jsonl 这个选项， 可以训练成功，但我看文档有提到--custom_train_dataset_path这个选项，这两个有什么区别呢，是不是对自己生成的数据集用--dataset new_data.jsonl 这种方式是不对的，但是为什么又确实训练成功了呢（至少模型确实学习到了训练资料中的知识） # Experimental environment: A100 # 2*40GB GPU me...
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
丨汀、的博客
05-27 3721
LLM 大模型学习必知必会系列(十二)：VLLM性能飞跃部署实践：从推理加速到高效部署的全方位优化[更多内容：XInference/FastChat等框架]
SWIFT环境配置及大模型微调实践
weixin_43870390的博客
03-20 1011
SWIFT环境配置及大模型微调实践SWIFT环境配置基础配置增量配置SWIFT大模型微调实践 SWIFT介绍参考：balabala SWIFT环境配置 基础配置 conda create -n swift python=3.8 pip install ms-swift[all] -U # 下载项目 git clone https://github.com/modelscope/swift 增量配置 如果是运行qwen-audio，需要安装ffmpeg apt-get update apt-get in
swift编程入门（非常详细）从零基础入门到精通，看完这一篇就够了
热门推荐
leah126的博客
07-25 1万+
阅读完《the swift programming language 中文版》，对swift语言有了初步的认识。在特点是：swift既是项目开发的编程语言，又有脚本语言的特点；在学习上：swift可以在xcode的playground进行编写，所见即所得，非常适合语法学习。对于swift语言，个人认为就是"站在巨人的肩膀上"的一门语言，及众家之所长。只要熟悉一门主流的编程语言，学习swift的语法都不会太困难。swift和Java语言在某些语法和关键字上面甚是相似，因此在学习时困难不大。
Swift语言基础小习题(包含答案)-只适合菜鸟.
qq_39802178的博客
10-19 4626
本文章,只适合初级菜鸟,有兴趣的可以进来做做,欢迎交流
通过exercism做Swift练习
RedOvO的博客
03-28 1018
1. 安装 brew/usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"2. 安装 exercismbrew install exercism3. 打开exercism进入swift语言界面4. 界面右侧给出了exercism中所含有的swift习题，选择...
#Swift 下标 Subscript - Access the elements of a collection
最新发布
B9班的真高兴
10-18 343
下标（Subscript）提供了一种简洁的语法来访问和修改类型的元素，尤其适用于集合类型。允许开发者为自己的类型添加访问逻辑和行为，可以是只读或读写的。下标支持 多参数、重载、以及 类型下标，使得它们非常灵活，可以在许多场景下替代字典或数组的索引访问。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值