DataWhale AI夏令营 【从零入门多模态大模型数据合成】上分思路

于 2024-08-17 22:23:32 发布
阅读量105 收藏 3
点赞数 1
文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_73840026/article/details/141287740
版权

文章目录

Data-Juicer算子

类型数量描述
Formatter7发现、加载、规范化原始数据
Mapper43对数据样本进行编辑和转换
Filter41过滤低质量样本
Deduplicator5识别、删除重复样本
Selector4基于排序选取高质量样本

相关配置文件说明：
在这里插入图片描述

提高模态间的对齐

相关算子的使用

phrase_grounding_recall_filter:图文内容主体召回率
image_text_matching_filter:图文BLIP匹配分

基于Analyer的质量&多样性处理

在这里插入图片描述

  • 用上sandbox insight
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • 单模态分别合成、清洗

  • 小规模数据快速实验

  • 合成后进一步清洗

.CXY.
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Datawhale AI 夏令营——从零入门多模态大模型数据合成——Task1学习笔记
qq_36164225的博客
08-12 444
本人baseline运行所使用的资源PAI-DSW 试用 ，获得 5000算力时！有效期3个月！+ 额外扩充磁盘空间，至少需要增加50G，需0.1元每小时，+ 模型训练和评测阶段，需要跑大概3小时，购置阿里云188G内存的GPU规格，大概需要15元每小时训练完成总共消费了 63.56 大洋 ， 环境总共运行时间 为 9小时38分，配置环境 确实很繁琐、也遇到了一些配置上的问题，就在这里总结一下，希望能帮助到大家。附上 Datawhale提供的Datawhale。
Datawhale AI 夏令营第四期 多模态大模型 task1 从零入门多模态大模型数据合成
spring5的博客
08-11 1007
赛事链接：是 Datawhale 2024 年 AI 夏令营第四期的学习活动——适合想的学习者参与：本赛事需要耗费大量的算力，跑通此baseline至少需要以上的，整个流程可能需要5小时，大家请自备算力，预留好时间，下面我们会以阿里云为例。：使用已有大模型和技术，在限定的计算资源下合成高质量训练数据，以增强多模态大模型的图像理解能力。
从零入门多模态大模型数据合成#datawhale AI夏令营
2301_79499190的博客
08-13 578
多模态领域相关知识梳理，领域内各项挑战及经典工作总结
Datawhale AI夏令营- 多模态task1学习笔记
weixin_62947885的博客
07-20 644
数据准备：收集和预处理训练数据，包括数据清洗、数据增强等。模型架构：设计和实现神经网络模型，如卷积神经网络（CNN）、循环神经网络（RNN）等。损失函数和优化器：选择适合的损失函数（如交叉熵损失、均方误差）和优化器（如Adam、SGD）进行训练。训练过程：迭代训练模型，监控性能指标（如准确率、损失值）并进行调优。
基于baichuan-7b的开源多模态大语言模型.zip
03-14
总结，Baichuan-7B开源多模态大语言模型是人工智能领域的璀璨明珠，其强大的多模态理解能力和易于部署的特性，使得它在垂直领域的应用前景广阔。无论你是研究人员还是开发者，都能从这个模型中找到丰富的学习资源和...
深度报告-2024浙商证券-人工智能行业深度报告_从Sora看多模态大模型发展.pdf
07-11
《深度报告-2024浙商证券-人工智能行业深度报告_从Sora看多模态大模型发展》深入剖析了当前人工智能领域中的多模态大模型发展趋势，特别是以Sora为代表的先进模型如何引领这一技术浪潮。报告首先介绍了多模态大模型...
多模态中文LLaMA&Alpaca大语言模型（VisualCLA）.zip
03-14
标签中的“人工智能大模型”是指具有强大计算能力和广泛知识基础的深度学习模型，它们通常通过大规模数据训练得到。这些模型可以进行各种自然语言处理任务，如问答、对话、翻译等。“垂直领域大模型”再次强调了它们...
SMP 2023 ChatGLM金融大模型挑战赛 60 分baseline思路介绍.zip
03-14
【标题】"SMP 2023 ChatGLM金融大模型挑战赛 60 分baseline思路介绍"涉及的是一个专业的人工智能竞赛，重点在于金融领域的应用。ChatGLM，全称为“Chat Generative Language Model”，是针对对话生成任务的大规模预...
高质量中文预训练模型&大模型&多模态模型&大语言模型集合
03-14
在当前的IT行业中，预训练模型是人工智能领域的一个...用户可以通过学习和实践，掌握大模型的部署技巧，探索人工智能在多模态信息处理中的潜力。同时，这也是一个很好的平台，促进了人工智能领域的知识交流和技术创新。
C/C++开发，opencv内置背景减除算法与运动检测
技术需要分享
08-14 1084
C/C++开发，opencv内置背景减除算法的完整代码及编译过程示例
AI赋能软件测试：从自动化到智能化，让测试工作事半功倍
m0_64146991的博客
08-15 339
APP端测试，专项测试，测试工具
Spark MLlib 特征工程(上)
08-14 3561
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
GraphRAG：复杂查询的知识图谱新框架
YeJuliaLi的博客
08-14 880
微软最近发布了名为 GraphRAG（Graphs + Retrieval Augmented Generation）的创新 RAG 框架，这是一个将文本提取、语义网络分析，与大语言模型（LLM）的提示和总结功能结合在一起的端到端系统，用于深入理解文本数据集。在对私有数据中的复杂文本信息进行文档分析时，GrahRAG 使用 LLM 生成的知识图谱来大幅提高问答性能。这里的私有数据集是指 LLM 没...
Denosing && RayDN-对同一射线的误检测优化
zisuina_2的博客
08-16 376
Denosing操作理解DN-DETR增加denosing操作，帮助快速拟合，提高了目标检测任务中的效率和精度。通过这种方式，DN-DETR 克服了原始 DETR 的一些限制，使其在实际应用中具有更好的性能和鲁棒性。GTBoxes通过随机偏移H, L,W进行偏移，当中心点x,y的偏移都>L/2,W/2会将label设置为num_class，也就是负样本，会对GTBoxes重复n次组成n=10。
基于YOLOv8的通用的滑动验证码滑块缺口检测模型
qq_29402011的博客
08-15 453
本文介绍了基于YOLOv8训练滑块验证码缺口检测模型的通用步骤
基于车联网大数据平台的用户驾驶习惯行为画像分析
DolphinDB智臾科技
08-15 697
车联网系统中，利用大数据对驾驶行为进行研究，有助于了解驾驶员的特征，并提供优化建议。本文从用户驾驶行程中的速度偏好、驾驶风格、熟练度三个方面描述用户画像，并介绍如何使用 DolphinDB 基于 K-means 算法的聚类模型生成用户画像与个性化标签，完成数据存储、处理、特征提取、模型构建及预测等全过程。
SciPy：基于 NumPy 的算法库和数学工具包，用于数学、科学和工程领域。
LS_Ai的博客
08-15 934
无论是进行线性代数运算、优化问题求解、积分与微分方程处理，还是进行信号和图像处理，SciPy都提供了高度优化的工具，使得复杂的科学计算任务变得更加简单和高效。SciPy的目标是为用户提供一个全面的科学计算环境，其中涵盖了常见的线性代数、优化、积分、插值、傅里叶变换、信号处理、统计、图像处理、以及ODE（常微分方程）求解等功能。SciPy与NumPy紧密结合，同时也与Pandas、Matplotlib等库有很好的兼容性，这使得它在科学研究、数据分析和工程计算中占据了重要地位。
Grok2：埃隆-马斯克的新一代AI模型
最新发布
chinaai777的博客
08-16 454
综合来看，Grok2在地理和数学问题中仅有两次错误，而在编码问题中表现出色。相比之下Grok2mini在大多数测试中也表现良好，但在一些复杂问题上仍有差距。总体而Grok2展示了其强大的能力，特别是在数学和编码领域。随着Grok2和mini版本的逐步推广，我们可以期待其在实际应用中的更多表现。其即将推出的API也将为开发者提供更多的可能性，使其成为一个重要的AI工具。关注我，每天带你开发一个AI应用，每周二四六直播，欢迎大家多多交流。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值