多模态大模型数据集

已于 2024-01-10 16:40:39 修改
阅读量2.2k 收藏 15
点赞数 12
分类专栏： ChatGPT系列论文解读 文章标签： 人工智能 算法 深度学习
于 2024-01-08 11:47:27 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37668436/article/details/135453445
版权
本文概述了多个大规模多模态数据集，包括Caption数据集中的视频和图像描述，以及SFT数据集中的文本、视频和图像，这些数据集为AI研究尤其是自然语言处理提供了丰富的资源，促进了跨领域的技术发展。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

符号说明

符号含义
K1千
M100万
B10亿

Caption数据集

caption数据类型数量链接语种
yttemporal180m视频6Mhttps://huggingface.co/datasets/HuggingFaceM4/yttemporal180m英语
HowTo100M视频136Mhttps://www.di.ens.fr/willow/research/howto100m/英语
HD-VILA-100M视频100Mhttps://github.com/microsoft/XPretrain/tree/main/hd-vila-100m英语
WebVid10M视频10Mhttps://maxbain.com/webvid-dataset/英语
InternVid视频10Mhttps://huggingface.co/datasets/OpenGVLab/InternVid或https://opendatalab.com/shepshep/InternVid英语
caption数据类型数量链接语种
ShareGPT4V图像1246Khttps://github.com/InternLM/InternLM-XComposer/blob/main/projects/ShareGPT4V/docs/Data.md英语
sbu_captions图像1Mhttps://huggingface.co/datasets/sbu_captions?row=32英语
LAION-400-M图像400Mhttps://laion.ai/blog/laion-400-open-dataset/英语
LAION-5B图像5Bhttps://laion.ai/blog/laion-5b/英语
GRIT图像20Mhttps://huggingface.co/datasets/zzliang/GRIT英语

SFT数据集

SFT数据类型数量链接语种
M3IT视频/图像1.9Mhttps://huggingface.co/datasets/MMInstruction/M3IT英语/中文/80种语言
valley视频84Khttps://huggingface.co/datasets/luoruipu1/Valley-Instruct-73k英语
CogVLM-SFT-311K图片311Khttps://huggingface.co/datasets/THUDM/CogVLM-SFT-311K英语
LVIS-Instruct4V图片880Khttps://huggingface.co/datasets/X2FD/LVIS-Instruct4V英语
macaw视频50Khttps://github.com/lyuchenyang/Macaw-LLM/blob/main/data/generated_examples_avsd.json英语
chaoswork文本一堆https://github.com/chaoswork/sft_datasets/tree/master?tab=readme-ov-file英语/中文
多模态大模型训练数据以及微调数据格式
liguandong
04-17 3014
The official repo of Qwen-VL (通义千问-VL) chat & pretrained large vision language model proposed by Alibaba Cloud. - Qwen-VL/README_CN.md at master · QwenLM/Qwen-VL。这里llava格式是应用最为广泛的，除了qwen-vl系列，几乎所有的系列都是llava格式。多模态数据，尤其是中文多模态数据，找一些中文多模态的数据。6423张Xray图片，
多模态大模型：技术原理与实战 多模态大模型评测数据集
AI天才研究院
05-17 1283
1. 背景介绍 1.1 多模态数据的兴起与挑战 近年来，随着互联网和移动设备的普及，各种形式的数据正在以前所未有的速度增长。其中，多模态数据，即包含多种信息来源的数据，例如文本、图像、音频、视频等，成为了重要的数据形式。多模态数据蕴含着丰富的语义信息，为人工智
Gesture-recognition-using-CNNLSTM:使用GRIT数据集，构建了将2D CNN与LSTM相结合的模型，以从webCam视频提要中执行实时手势识别。 也使用LSTM建立了使用3D CNN的另一个模型
05-15
使用手势识别的CNNLSTM 使用GRIT数据集，构建了将2D CNN与LSTM相结合的模型，以从webCam视频提要中执行实时手势识别。 也使用LSTM建立了使用3D CNN的另一个模型。 目标 构建能够实时检测视频中手势的计算机视觉深度学习模型。 模型应能够在低端设备上运行。 （没有GPU） 模型应该可以快速训练（30分钟内进行训练） 在每个手势动作中使用有限的样本来提取可用的准确性。 预先处理 由于我们的动机是运动识别，因此我们首先必须检测帧序列之间的运动。 我使用时差法。 时间差异涉及两个或三个连续帧之间的差异，然后凝结连续帧之间的差异以提取运动对象的运动。 它非常容易且快速地进行计算，并且在动态环境中具有更好的性能。 使用等式计算差分图像： Δ = (
铁鼠: 无处不在、无孔不入的参照与定位
步子哥的博客
08-29 1346
铁鼠的诞生,标志着视觉语言模型进入了一个新的纪元。它不仅在技术上实现了突破,更重要的是开创了一种全新的人机交互范式。在这个范式中,人类可以用最自然的方式与AI交流视觉信息。无论是指点、圈画还是语言描述,AI都能准确理解并作出恰当的回应。这种交互方式大大降低了人类使用AI的门槛,让AI真正成为人类的得力助手。铁鼠的成功,也为我们指明了未来AI发展的方向:不是单一能力的极致,而是多种能力的有机结合。正如人类的智能是视觉、语言、推理等多种能力的综合,未来的AI也应该是多模态、多任务的统一体。
苹果发布了一个Ferret（雪貂）多模态大模型，在一个无人问津的角落被一位博主捞起来
heehelcom的博客
12-25 383
苹果12月14日释放了一个名为Ferret的多模态大语言模型，有的翻译是雪貂，有的是法学硕士，要我说，还是叫雪貂吧，接地气亲民，将来犯蠢的时候出来发张雪貂的可爱表情包作公关就完事了，你个法学硕士到时候犯蠢怕不是要被暴躁老哥们都冲烂咯。该模型不仅可以准确识别图像并描述其内容，同时它还能够识别和定位图像中的各种元素，无论你用怎样的方式描述图像内容，Ferret都能准确地在图像中找到并识别出来。的能力，苹果公司特别收集了一个名为GRIT的数据集，包含了1.1M个样本，这些样本包含了丰富的层次空间知识。
Ferret:AI界的“雪貂神探“,能看会指还会唠嗑
步子哥的博客
08-21 1031
Ferret的诞生,展示了AI正在向着更加智能、更加人性化的方向发展。它不再是一个只会泛泛而谈的大嘴巴,而是一个能够精确理解、准确表达的好伙伴。正如其名字"雪貂"所暗示的,这种AI模型灵活敏捷,能够钻入图像的每个角落,捕捉每一个细节。它打破了AI与人类交流的壁垒,让我们离"与机器对话如与人对话"的梦想更近了一步。在不久的将来,我们也许就能拥有一个AI助手,它不仅能听懂我们的每一句话,理解我们指的每一个位置,还能精确地回应我们的每一个问题。
无消息传递的图变换器中的图归纳偏差
人工智能讲师分享前沿技术
09-20 1599
在处理小规模数据集时，图变换器的性能通常不尽如人意，特别是在需要明显的归纳偏好时。为了引入这些偏好，早期的图变换器一般会利用消息传递组件或位置编码。然而，依赖消息传递的图变换器在将研究成果应用到其他领域时遇到了难题，因为它们与其它领域的变换器有较大差异。
多模态+大模型+LLaVA1.5数据集
06-30
Please download the annotation of the final mixture our instruction tuning data llava_v1_5_mix665k.json, and download the images from constituting datasets: COCO: train2017 GQA: images ...
多模态大模型训练数据集汇总介绍
hello AI
11-21 1万+
RefCOCO+中的查询不包含绝对的方位词，如描述对象在图像中位置的右边。OCR-VQA-200K是一个通过读取图像中的文本(OCR)进行视觉问答的大规模数据集，包含20多万张书籍封面图像及100多万个相关问答对，随机将80%、10%和10%的图像分别用于训练、验证和测试，因此分别产生了大约800K、100K和100K的训练、验证和测试QA对。数据集示例如下图所示，每个图的 caption 描述在图片正下方，绿色是根据下面的 caption 标注的 gt，蓝色是预测正确的框，红色是预测错误的框。
视频文本描述数据集
m0_51193993的博客
03-07 1346
视频文本描述公开数据集。
grit_doc_event_entity
05-15
GRIT：用于文档级事件实体提取的生成角色填充变压器（）EACL'21 依存关系 Python 3.6.10 变压器：从源头安装的 。 火炬闪电== 0.7.1 火炬== 1.4.0 顺序的 数据集 ./data/muc ，有关详细信息，请参考./data/muc/README.md 评估 from eval import eval_ceaf导入eval_ceaf， from eval import eval_ceaf ，了解详细信息，请阅读eval.py 在preds.out上评估python eval.py --pred_file model_gtt/preds_s_t.out 运行简单的测试用例： python test_cases_eval.py GRIT模型 编码器-解码器模型（基于拥抱的脸部 如何运行：请参阅model_gtt中的自述文件 引文 如果您在此回购中使
GRIT: Consistent Distributed Transactions across Polyglot Microservices with Multiple Databases
蜂蜜味的哈士奇
12-15 409
GRIT 基于多个数据库的聚合微服务的一致性分布式事务 GRIT: Consistent Distributed Transactions across Polyglot Microservices with Multiple Databases 摘要 在应用程序当中最受欢迎的微服务架构给我们在多重微服务的分布式事务方面带来了新的挑战。这些微服务可能使用不同语言实现，并且使用多种不同的数据库。在当前环境下，我们非常需要一致性分布式事务，用现存的技术缺非常难实现。在这篇论文中，我们提出了GRIP：一种通过巧
《深入浅出多模态》（二）：多模态任务及数据集介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-04 2816
本文为《深入浅出多模态》系列第二章，《多模态任务介绍与背景》主要介绍多模态模型的概念、技术难点、下游任务（Visual Grounding、VQA、image/Video Captioning等）及各类应用方向数据集展开介绍，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
推荐：GRIT——更快更优的图像标题生成Transformer（ECCV 2022）
gitblog_00032的博客
06-03 605
推荐：GRIT——更快更优的图像标题生成Transformer（ECCV 2022） 去发现同类优质开源项目:https://gitcode.com/ 项目简介 GRIT是2022年欧洲计算机视觉大会（ECCV）上发表的一项创新性研究的代码实现，其论文名为“GRIT：基于双视觉特征的更快更好的图像标题生成Transformer”。GRIT通过高效利用两种视觉特征，改进了Transformer架构在...
视频理解多模态大模型(大模型基础、微调、视频理解基础)
热门推荐
ZhengrongYue的博客
07-19 3万+
多模态大模型(大模型基础、微调)
KOSMOS-2: Grounding Multimodal Large Language Models to the World翻译
nopSled
07-15 2189
多模态大语言模型（MLLM）已成功地在多种任务中作为一个通用目标接口，例如语言，视觉和视觉语言任务。MLLM可以感知通用模态，包括文本，图像和音频，并基于zero-shot和few-shot设置，使用格式无关的文本生成响应。在这项工作中，我们解锁了多模态大语言模型的定位能力。定位能力可以为视觉-语言任务提供更方便，更有效的人机交互。它使用户能够直接指出图像中的目标或区域，而不是输入详细的文本说明来引用它，模型可以理解具有空间位置的图像区域。
首个大规模图文多模态数据集LAION-400M介绍
木盏
12-04 1万+
openAI的图文多模态模型CLIP证明了图文多模态在多个领域都具有着巨大潜力，随之而来掀起了一股图文对比学习的风潮。就在前几天（2022年12月），连Kaiming都入手这一领域，将MAE的思路与CLIP的思路结合，推出了FLIP，有兴趣可戳（https://arxiv.org/abs/2212.00794）。对于迷茫的CV研究生，如果你找不到研究方向，just follow Kaiming绝对不会出错。今天要介绍的是一个优秀的图文多模态数据集LAION，跟CLIP原始训练数据集就有相当体量，即400个m
GRiT：一款开源的生成区域到文本转换器
gitblog_01136的博客
01-08 343
GRiT：一款开源的生成区域到文本转换器 GRiT GRiT: A Generative Region-to-text Transformer for Object Understanding (https://arxiv.org/abs/2212.00280) ...
SOTA多模态大模型！13个开源模型汇总，附论文和代码
2301_82275412的博客
05-06 2万+
近年来，多模态大模型（Multimodal Large Language Models, MLLMs）在人工智能领域取得了显著的进展，特别是在自然语言处理、计算机视觉和多模态理解方面。这些模型能够理解和生成多种类型的数据，如文本、图像、音频和视频，为多模态学习和应用提供了强大的工具。今天给大家汇总了13个开源多模态大模型，这些模型在各自的领域中刷新了多个SOTA记录，每个模型都将附上相关的论文和代码，一起看看多模态大模型的最新研究成果吧！论文PDF和开源代码都整理好了😝有需要的小伙伴，可以保存图片到。
多模态大模型之心理情感数据集
最新发布
01-14
### 多模态大模型心理情感数据集 对于训练多模态大型模型中的心理情感识别，存在多种可用的数据集。这些数据集通常包含了来自不同模式的信息，比如文本、图像以及音频等。 #### IEMOCAP 数据集 IEMOCAP 是一个多模态的情感语料库，它由五名演员参与录制而成。该数据集中不仅有对话的文字记录还有对应的视频片段和声音文件。这使得研究人员能够利用多个感官输入来提高情绪检测的准确性[^1]。 ```python import torch from datasets import load_dataset dataset = load_dataset('iemocap') print(dataset['train'][0]) ``` #### AffectNet 数据集 AffectNet 提供了大量的面部表情图片及其标注的情绪类别标签。此资源可以用来增强视觉理解能力，在处理涉及人类互动场景的任务时特别有用。通过结合其他形式的感觉信息（如语音），可进一步提升系统的性能表现[^2]。 ```python from torchvision.datasets import ImageFolder from transformers import AutoFeatureExtractor, ResNetForImageClassification feature_extractor = AutoFeatureExtractor.from_pretrained("microsoft/resnet-50") model = ResNetForImageClassification.from_pretrained("microsoft/resnet-50") affect_net_path = "/path/to/affectnet" dataset = ImageFolder(affect_net_path) for image, label in dataset: inputs = feature_extractor(image.convert("RGB"), return_tensors="pt") outputs = model(**inputs) logits = outputs.logits ``` #### MELD (Multimodal EmotionLines Dataset) 数据集 MELD 是一个基于电影剧本创建的大规模多模态情感分析数据库。其特色在于提供了丰富的上下文环境描述，并且每条记录都关联着特定角色所说的话。这对于理解和预测复杂社会情境下的个体反应非常有价值[^3]。 ```python meld_data = load_dataset('meld', 'dialogue') def show_example(index=0): example = meld_data['train'][index] print(f"Speaker: {example['speaker']}") print(f"Dialouge: {example['text']}") print(f"Emotion Label: {example['emotion']}") show_example() ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

只会git clone的程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值