Datawhale AI夏令营——从零入门多模态大模型数据合成baseline1笔记

已于 2024-08-13 23:57:20 修改
阅读量174 收藏
点赞数 4
文章标签： 人工智能 笔记
于 2024-08-13 23:55:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52499075/article/details/141176805
版权

学习第一步：报名赛事！

较稳妥硬件配置

较稳妥硬件配置

主要步骤&思路(在新标签页打开或下载查看)

创建云实例

可能遇到的问题

可查看教程中的解答

总结

一、主要是完成了以下几步：
1.创建实例
2.配置环境&下载
3.数据合成
4.模型训练和评测推理
5.提交

二、目前task1的难点主要在配置环境和跑通整个流程上。

weixin_52499075
关注
深度报告-2024浙商证券-人工智能行业深度报告_从Sora看多模态大模型发展.pdf
07-11
《深度报告-2024浙商证券-人工智能行业深度报告_从Sora看多模态大模型发展》深入剖析了当前人工智能领域中的多模态大模型发展趋势，特别是以Sora为代表的先进模型如何引领这一技术浪潮。报告首先介绍了多模态大模型...
高质量中文预训练模型&大模型&多模态模型&大语言模型集合
03-14
在当前的IT行业中，预训练模型是人工智能领域的一个...用户可以通过学习和实践，掌握大模型的部署技巧，探索人工智能在多模态信息处理中的潜力。同时，这也是一个很好的平台，促进了人工智能领域的知识交流和技术创新。
Datawhale AI 夏令营——从零入门多模态大模型数据合成——Task1学习笔记
qq_36164225的博客
08-12 472
本人baseline运行所使用的资源PAI-DSW 试用 ，获得 5000算力时！有效期3个月！+ 额外扩充磁盘空间，至少需要增加50G，需0.1元每小时，+ 模型训练和评测阶段，需要跑大概3小时，购置阿里云188G内存的GPU规格，大概需要15元每小时训练完成总共消费了 63.56 大洋 ， 环境总共运行时间 为 9小时38分，配置环境 确实很繁琐、也遇到了一些配置上的问题，就在这里总结一下，希望能帮助到大家。附上 Datawhale提供的Datawhale。
DataWhale AI夏令营 【从零入门多模态大模型数据合成】 环境搭建与baseline跑通
qq_73840026的博客
08-13 422
DataWhale AI夏令营 【从零入门多模态大模型数据合成】 环境搭建与baseline跑通
Datawhale AI夏令营第四期·从零入门多模态大模型数据合成 task01笔记
qq_62695659的博客
08-13 871
在后面的模型训练和评测阶段，需要跑大概3小时，至少需要100G+以上的内存。，否则无法创建实例，以及避免由于欠费被停止实例。：由于baseline运行需求，我们需要。图8：进入JupyterLab环境。复制如下命令，在终端执行，然后下载。的实例规格（下面以这个规格为例）至少需要增加100G。
Datawhale AI 夏令营—从零入门多模态大模型数据合成—Task2学习笔记
qq_36164225的博客
08-15 195
下载BLIP模型 和 基础数据完成后可以备份为镜像，方便回滚。
Datawhale AI夏令营-多模态大模型数据合成-Task 1 笔记
weixin_42112548的博客
08-13 195
最后发现，错误是出在完全无脑按照教程一步一步进行：由于粘贴的是社区镜像，所以本身就配置好环境了，我用conda建立了新的环境，覆盖了配置好的。后续又按照社区镜像的教程，直接运行了dj-process，因此command not found。作为一名实验科研工作者，之前参与过几次和大模型相关的工作，主要负责前端科研相关语料的收集，后期模型的微调都是由合作者完成，不明所以。尝试按照流程重新跑了几遍，每次都会花很长时间在下载模型和数据上，但结果还是一样，command not found。
Datawhale AI夏令营-多模态大模型数据合成Task1 学习笔记
IshmaelChen的博客
08-13 685
由于云终端的限制，shell的信息到了一定程度后会自动清理，因此两个shell脚本一定是要时刻关注的！同时，由于研究download.sh时没有注意到第一行对于环境变量的设定，导致我误下了一整份官方数据集到工作区 /mnt/workspace之外了，希望阿里云会自己清理掉。最后统计，100G的存储空间我一共花了98G，要想训练顺利，必须要扩容了。同时为了确保所有人最基础的命令不会缺失，索性在创建虚拟环境并进入后将所有需要的工具命令一并输入。apt update。
[Datawhale AI夏令营]第四期 多模态大模型数据合成 学习笔记
drawbacks的博客
08-17 98
只是囫囵吞枣的跟着baseline走了好几遍。自己搜着学习了一些.sh，.yaml，.jasonl文件的概念。baseline成功的关键在于：修改baseline中训练的配置。
Datawhale AI夏令营-多模态大模型数据合成Task2 学习笔记
IshmaelChen的博客
08-16 535
由于经济限制，这次跑不动全量了。8张3090使用NVlink连接还要跑十几个小时，嗯，我已经闻到了钞票燃烧的焦味了。
Datawhale AI夏令营-多模态大模型数据合成Task3 学习笔记
IshmaelChen的博客
08-18 801
Data-juicer为我们提供了：标准接口数据基础处理能力当我们需要自定义算子时，我们的是基于标准算子基类进行改造。以文本长度过滤算子为例：通过标准算子类实现compute_stats以及process两个方法将算子注册到程序中。
基于baichuan-7b的开源多模态大语言模型.zip
03-14
总结，Baichuan-7B开源多模态大语言模型是人工智能领域的璀璨明珠，其强大的多模态理解能力和易于部署的特性，使得它在垂直领域的应用前景广阔。无论你是研究人员还是开发者，都能从这个模型中找到丰富的学习资源和...
【AI大模型】Kimi API大模型接口实现
qq_25888559的博客
09-15 1051
Kimi智能助手在效率（免费榜）排名从2024年1月14日的第436名提升至3月19日的第11名。而尚未上线的GPT-4.5 Turbo上下文窗口指定为25.6万个token，能同时处理约20万个单词，Kimi升级后，长文本能力为其10倍。在2023年10月初次亮相时，该模型的处理能力还仅有约20万汉字。2024年3月18日，月之暗面宣布Kimi智能助手启动200万字无损上下文内测。
使用c#制作一个小型桌面程序
qq_44691564的博客
09-14 1007
创建.NET Framework新项目，将之前生成的dll放在Demo文件夹的bin ->debug或是 release中（看你自己用的什么模式），创建完成后 系统会自动生成一些文件，其中 pch.cpp 先不要修改，pch.h中先导入自己需要用到的库，下面是我的代码。布局完了之后会自动生成Form1.Designer.cs 的窗口设计代码，点击控件按F4 还可以修改他们的属性。完成之后点击生成 就可以在bin中出现的你的.exe文件咯，是不是很简单呀~[狗头]我们还需要一个入口主程序。
生成式人工智能在新加坡的发展现状和地位
wukangjupingbb的博客
09-11 1158
依据国际隐私专业人员协会(IAPP)的相关报告，2020年，上述两机构更新了该模型框架，发布了第二版，并推出了《组织实施和自我评估指南》，帮助组织评估其人工智能治理实践与型框架的匹配程度，还发布了《案例汇编》，展示了组织如何实施负责任的人工智能治理实践。2019年，金融管理局宣布与金融行业合作创建Veritas框架，为金融机构提供可验证的方法，将FEAT原则纳入其人工智能和数据分析驱动的解决方案中。新加坡在人工智能治理方面采取了部门性的方法，即通过各个行业的监管机构来管理人工智能的使用。
开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群活动中的应用与时机选择
最新发布
专注MarTech应用研究与实施方案
09-17 555
本文探讨了开源 AI 智能名片链动 2+1 模式 O2O 商城小程序在社群经济中的重要性，着重分析了如何借助该小程序适时举办大型活动以维持和引爆社群活跃度。通过对活动时机选择的研究，强调了针对社群用户量身定制活动时机的必要性，以赢得用户的高度参与。
opencv学习：calcHist 函数绘制图像直方图及代码实现
mohanyelong的博客
09-13 1501
opencv学习：calcHist 函数绘制图像直方图及代码实现
Djourney新手入门基础，AI摄影+AI设计+AI绘画-AIGC作图
DAMOXINGHAITAI的博客
09-14 1006
（全套教程文末领取哈）从大模型系统设计入手，讲解大模型的主要方法；在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；以SD多模态大模型为主，搭建了文生图小程序案例；以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
苹果发布30B参数多模态大模型MM1：架构与预训练洞察
随着多模态生成技术在人工智能（AI）市场中的火热发展，尤其是OpenAI的Sora项目，苹果公司决定加入这一竞争，推出了一个拥有30亿参数的高性能多模态大模型系列。 研究的核心关注点在于构建高效且表现优秀的多模态...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值