swift微调多模态大语言模型

已于 2024-05-06 09:46:45 修改
阅读量832 收藏 15
点赞数 21
分类专栏： 多模态大语言模型 文章标签： 语言模型 LVM 多模态
于 2024-05-05 15:50:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012193416/article/details/138466599
版权

微调训练数据集指定方式的问题请教 · Issue #813 · modelscope/swift · GitHubQwen1.5微调训练脚本中，我用到了--dataset new_data.jsonl 这个选项， 可以训练成功，但我看文档有提到--custom_train_dataset_path这个选项，这两个有什么区别呢，是不是对自己生成的数据集用--dataset new_data.jsonl 这种方式是不对的，但是为什么又确实训练成功了呢（至少模型确实学习到了训练资料中的知识） # Experimental environment: A100 # 2*40GB GPU me...icon-default.png?t=N7T8https://github.com/modelscope/swift/issues/813

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Kun Li
关注
  • 21
    点赞
  • 踩
  • 15
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
多模态大模型训练数据以及微调数据格式
liguandong
04-17 1583
The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud. - Qwen-VL/README_CN.md at master · QwenLM/Qwen-VL。这里llava格式是应用最为广泛的，除了qwen-vl系列，几乎所有的系列都是llava格式。多模态数据，尤其是中文多模态数据，找一些中文多模态的数据。6423张Xray图片，
SWIFT环境配置及大模型微调实践
weixin_43870390的博客
03-20 613
SWIFT环境配置及大模型微调实践SWIFT环境配置基础配置增量配置SWIFT大模型微调实践 SWIFT介绍参考：balabala SWIFT环境配置 基础配置 conda create -n swift python=3.8 pip install ms-swift[all] -U # 下载项目 git clone https://github.com/modelscope/swift 增量配置 如果是运行qwen-audio，需要安装ffmpeg apt-get update apt-get in
大模型管理工具：SWIFT
m0_37559973的博客
05-13 1154
SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning）是魔搭ModelScope开源社区推出的一套完整的轻量级训练、推理、评估和部署工具，支持200+大模型、15+多模态大模型以及10+轻量化Tuners，让AI爱好者能够使用自己的消费级显卡玩转大模型和AIGC。
CogVLM2: 智谱开源新一代多模态大模型！
机器学习社区
05-20 1505
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。智谱·AI推出了新一代 CogVLM2 系列模型，并开源了使用 Meta-Llama-3-8B-Instruct 构建的两个模型。与上一代CogVLM开源模型相比，CogVLM2系列开源模型有以下改进：许多基准测试（例如 TextVQA、DocVQA）的显着改进。支持8K内容长度。
微软开源多模态大模型Phi-3-vision，微调实战来了
2301_78285120的博客
05-24 1141
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、今年参加社招和校招面试的同学。针对大模型& AIGC 技术趋势、大模型& AIGC 落地项目经验分享、新手如何入门算法岗、该如何准备面试攻略、面试常考点等热门话题进行了深入的讨论。在 Microsoft Build 2024 上，微软持续开源了 Phi-3 系列的新模型们。包括 Phi-3-vision，这是一种将语言和视觉功能结合在一起的多模态模型。
零一万物开源Yi-VL多模态大模型，推理&微调最佳实践来啦！
2201_75499313的博客
01-27 1751
近期，零一万物Yi系列模型家族发布了其多模态大模型系列，**Yi Vision Language（Yi-VL）**多模态语言大模型正式面向全球开源。凭借卓越的图文理解和对话生成能力，Yi-VL模型在英文数据集MMMU和中文数据集CMMMU上取得了领先成绩，展示了在复杂跨学科任务上的强大实力。——这也是Yi-VL模型的核心亮点之一。用于图像编码，使用开源的OpenClip ViT-H/14模型初始化可训练参数，通过学习从大规模"图像-文本"对中提取特征，使模型具备处理和理解图像的能力。
LLM/MLLM之SWIFT：SWIFT(一个用于微调的可伸缩轻量级基础设施的工具)的简介、安装和使用方法、案例应用之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
03-28 920
​ LLM/MLLM之SWIFT：SWIFT(一个用于微调的可伸缩轻量级基础设施的工具)的简介、安装和使用方法、案例应用之详细攻略 目录 SWIFT的简介 SWIFT的安装和使用方法 SWIFT的案例应用 SWIFT的简介 SWIFT(Scalable lightWeight Infrastructure for Fine-Tuning)是一个用于微调的可伸缩轻量级基础设施的工具，支持近200种LLM和MLLM（多模
Llama3 中文通用 Agent 微调模型来啦！（附手把手微调实战教程）
2301_78285120的博客
04-24 2295
节前，我们组织了一场算法岗技术&面试讨论会，邀请了一些互联网大厂朋友、参加社招和校招面试的同学，针对算法岗技术趋势、大模型落地项目经验分享、新手如何入门算法岗、该如何准备、面试常考点分享等热门话题进行了深入的讨论。Llama3模型在4月18日公布后，国内开发者对Llama3模型进行了很多训练和适配，除了中文纯文本模型外，多模态版本也陆续在发布中。考虑到国内用户对Agent场景的需求，社区LLM&AIGC模型微调推理框架SWIFT基于Llama3-8b-instruct原始版本训练了。
基于 mPLUG 模块化的多模态大语言模型
11-12
基于 mPLUG 模块化的多模态大语言模型
大语言模型-紫东太初多模态大模型
11-16
“紫东太初”跨模态通用人工智能平台是由中国科学院自动化研究所研发的以多模态大模型为核心、基于全栈国产化基础软硬件平台，可支撑全场景AI应用。依托面向超大规模的高效分布式训练框架，自动化所构建了具有业界...
基于百川-7b的开源多模态大语言模型.zip
08-15
基于百川-7b的开源多模态大语言模型 ----- 毕业设计，课程设计，项目源码均经过助教老师测试，运行无误，欢迎下载交流 ----- 下载后请首先打开README.md文件（如有），某些链接可能需要魔法打开。 ----- 毕业设计，...
基于baichuan-7b的开源多模态大语言模型.zip
03-14
垂直领域大模型，多模态，人工智能，易于部署，学习交流使用
人工智能-多模态-基于baichuan-7b的多模态大语言模型
05-08
多模态: 参考LLaVA 和 mPLUG-Owl 的相关工作, 羽人通过建立线性投影层将 LLM 的语言模态和目前最 SOTA 的 CLIP 模型laion/clip-vit-l-14-datacomp.xl-s13b-b90k 的视觉编码器进行融合, 从而实现了卓越的图片理解能力...
蜂鸣器学习笔记，描述了分类、使用
06-03
蜂鸣器学习笔记，描述了分类、使用
华硕B250M-PIXIU支持6789代BIOS
06-03
有编程器的话可以用编程器直接刷入bin文件，刷入后清下CMOS再开机。 没有编程器但有67代U开机的话，也可以用U盘软刷，软刷步骤如下。 注意： 请认真阅读以下各个步骤，每一步都是经验总结，不是废话。 1、准备好一个FAT32格式的空U盘，在Windwos系统里用U盘DOS启动工具按步骤做好DOS启动U盘，然后把BIOS文件复制进U盘且重命名为bios.bin 2、开机del键进BIOS，按F5载入默认设置值，然后按F10保存重启 3、开机Del键进BIOS里，按F7进高级模式，然后在高级栏(Advanced栏）里PCH-FW Configuration项中找到ME Opration Mode选项，选择Temporary Disabled，主板会立即重启，重启后马上按F8，选择从U盘启动进入DOS，进入DOS后按F键回车，如无异常提示则会开始刷新BIOS。如出色红色字符提示写保护，则关机清下CMOS（步骤：关机、拨电、抠主板电池，短接CLRTC跳线一分钟，再装回电池开机），再开机从第2步开始。 4、DOS下刷新完成会有绿色字符提示成功，关机断电，清下CMOS再开机，然后进BIOS里
毕业设计&课设-使用Matlab对波动光学进行建模。包括使用标量衍射理论的衍射以及菲涅耳和夫琅和费衍射.zip
最新发布
06-03
该资源内项目源码是个人的课程设计，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ ## 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 该资源内项目源码是个人的课程设计，代码都测试ok，都是运行成功后才上传资源，答辩评审平均分达到96分，放心下载使用！ ## 项目备注 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。
HarmonyOS应用开发实战-真机测试.docx
06-03
HarmonyOS应用开发实战-真机测试
多模态视觉语言模型有那些主流框架
03-01
多模态视觉语言模型是一种能够同时处理图像和文本的模型。目前有几个主流的框架用于构建多模态视觉语言模型，包括： 1. ViLBERT（Vision-and-Language BERT）：ViLBERT是由微软研究院提出的一种多模态预训练模型。它通过联合训练图像和文本任务来学习视觉和语言之间的关联。 2. LXMERT（Learning Cross-Modality Encoder Representations from Transformers）：LXMERT是由美国南加州大学提出的一种多模态预训练模型。它使用Transformer网络结构来编码图像和文本，并通过联合训练来学习视觉和语言之间的交互表示。 3. UNITER（UNiversal Image-TExt Representation）：UNITER是由华为诺亚方舟实验室提出的一种多模态预训练模型。它使用Transformer网络结构来编码图像和文本，并通过联合训练来学习视觉和语言之间的共享表示。 4. VisualBERT：VisualBERT是由美国斯坦福大学提出的一种多模态预训练模型。它将图像和文本输入到同一个Transformer网络中，并通过联合训练来学习视觉和语言之间的关联。 5. OSCAR（Object-Semantics Aligned Pre-training）：OSCAR是由Facebook AI提出的一种多模态预训练模型。它使用Transformer网络结构来编码图像和文本，并通过联合训练来学习视觉和语言之间的对齐表示。 这些主流框架都在多模态视觉语言理解任务中取得了很好的效果，并且在图像描述生成、视觉问答等任务上有广泛的应用。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值