图文多模态公开数据集归纳（图文情感分类、图文检索）｜有中英文文本、含下载地址

已于 2022-03-18 23:12:56 修改
阅读量8.6k 收藏 80
点赞数 36
文章标签： 计算机视觉 语言模型
于 2022-03-03 11:27:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43092343/article/details/123248707
版权
本文列举了多个图文多模态的公开数据集，包括Yelp、Tumblr、FlickrLDL/TwitterLDL、Multi-ZOL和MUGE，涉及情感分类和图文检索任务。数据集规模各异，涵盖多种情感标签，适用于相关领域的研究和模型训练。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

我最近在研究图文多模态的公开数据集，本文总结了图文多模态常用的公开数据集。这里没有记录小数据集（不到2千张图级别的，有较高引用的有 IAPS 和 GAPED，微博）和 与业务相关性低的（艺术场景，如 ArtPhoto）。

任务 数据集 论文 中文or 英文
图文情感分类 Yelp VistaNet 英文
图文情感分类 Tumblr Fine-grained Video-Text Retrieval with Hierarchical Graph Reasoning 英文
图片情感分类 FlickrLDL, TwitterLDL Learning visual sentiment distributions via augmented conditional probability neural network 英文
图片情感分类 emotion6 Building a Large Scale Dataset for Image Emotion Recognition: The Fine Print and The Benchmark 英文
图片情感分类 Multi-ZOL Multi-Interactive Memory Network for Aspect Based Multimodal Sentiment Analysis 中文
电商图文检索 MUGE Wukong 中文
图文检索
最低0.47元/天 解锁文章
-江户川-
关注
【多模态处理篇一】【 深度解析DeepSeek图文匹配：CLIP模型迁移实战——从原理到落地的保姆级教程】
商务合作|问题讨论|交流学习 请联系作者微信，加微信请务必注明来意，博客主页有联系方式
02-22 250
DeepSeek的迁移方案让我们看到，CLIP的潜力远不止于学术论文里的漂亮数字。领域自适应技术打破数据壁垒轻量化改造让大模型飞入寻常百姓家生成式增强打开创作新纪元这套组合拳正在重塑内容审核、智能客服、无障碍服务等数十个行业。正如某位开发者所说：“以前觉得CLIP是阳春白雪，现在DeepSeek让它变成了家常便饭。” 未来，当每台手机都能理解世间万物时，或许我们会怀念这个图文智能觉醒的黎明。
《深入浅出多模态》之多模态技术知识总结（中）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
12-02 610
本作者推出全新系列《深入浅出多模态》专栏，具体章节如导图所示（导图后续更新），将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集等各种角度展开详细介绍，欢迎大家关注。
最全多模态情感分析数据集(12-02已更新）
u011559552的博客
11-05 6292
多模态情感分析是自然语言处理领域的一个重要研究方向，它通过分析和融合文本、语音、图像等多种模态的数据来识别和分析情感信息。这种分析方法能够更全面地理解人类情感，因为不同模态信息可以捕捉到不同层面的情感信息。随着深度学习技术的发展，多模态情感分析在情感预测和情绪识别方面显示出巨大的潜力和应用价值。
图像情感分析数据集
05-28
该数据集包含500张图片，其中积极图片250张，消极图片250张，可用于图像情感分析
数据集的重要性——常见公开数据集及如何获取和处理数据
最新发布
04-01 1502
在人工智能（AI）和机器学习（ML）领域，数据集是模型训练的核心。一个高质量的数据集不仅能够提升模型的性能，还能直接决定算法的最终效果。本文将介绍数据集的重要性、常见的公开数据集来源，以及如何获取和处理这些数据。
mscoco数据集_多模态情感分析数据集整理
weixin_39635084的博客
11-28 1343
这里整理一下平时所用的多模态情感数据集以备之用，后面会不断地去添加，也希望能够帮到其他人，欢迎大家补充。作者：骑着白马的王子地址：https://www.zhihu.com/people/pi-pi-57-6701 双模态(一般是文本、图像和语音的两两组合)1.《Multi-Modal Sarcasm Detection in Twitter with Hierarchical Fusion Mo...
基于mediapipe+opencv+autopy的人机交互系统python源码+文档说明+运行截图
2301_78627004的博客
05-29 491
手势识别的人机交互系统基于mediapipe+opencv+autopy的人机交互系统功能通过手势实现对电脑的操作，如鼠标左右键，键盘的上下键（可对PPT进行翻页）运行gesture_control_Win.py即可所需环境mediapipenumpy。
图-文多模态，大模型，预训练
qq_21157073的博客
04-11 3202
图-文任务是指需要同时处理图像和文本数据的任务，如图像描述、图像检索（image retrieval）、视觉问答（visual question answering）等。例如，图像描述（image captioning）就是一种典型的多模态任务，它需要根据给定的图像生成相应的文本描述。既不是单塔模型（擅长图文推理），也不是双塔模型（擅长图文检索），而是使用共享参数提取图像文本特征，然后训练几个专家，这样选择不同的专家就能解决不同的任务,专家就是网络中的不同Feed Forward。（ALBEF的后续）
图文多模态模型CLIP
木盏
12-05 5876
CLIP带给我的震撼是超过transformer的，这是OpenAI的重要贡献之一。就如官网所描述的：用对比学习（Contrastive Learning）来对齐约束图像模型和文本模型。用文本嵌入指导图像学习，图像嵌入指导文本学习。这样一来，图像分类进入了CLIP时代，不需像传统深度学习图像分类一样，先定义出类别范围，然后准备各类别的数据（比如MNIST的十分类，ImageNet的千分类）。我们有了CLIP，可以直接任意给出一个class set如{“cat”，“dog”, “horse”，“Other”}
【多模态】数据集合集！
Kyzy_1919的博客
12-24 1591
GLM-4V-9B 具备 1120 * 1120 高分辨率下的中英双语多轮对话能力，在中英文综合能力、感知推理、文字识别、图表理解等多方面多模态评测中，GLM-4V-9B 表现出超越 GPT-4-turbo-2024-04-09、Gemini 1.0 Pro、Qwen-VL-Max 和 Claude 3 Opus 的卓越性能。我们还推出了支持 1M 上下文长度（约 200 万中文字符）的 GLM-4-9B-Chat-1M 模型和基于 GLM-4-9B 的多模态模型 GLM-4V-9B。
国产大模型图文搜索系统实战：Qwen2.5-Omni 多模态向量检索 × API 封装全流程复现
努力分享一些人工智能相关的知识干货！
03-31 935
本篇带你从零搭建一个国产大模型驱动的图文搜索系统，以 Qwen2.5-Omni 为基础，完成图像+文本向量提取、FAISS / Milvus 检索系统构建、检索接口服务封装、多端调用适配等完整流程。支持上传图片 + 提问，快速召回相似图文内容，并可扩展为 RAG 知识库、图题检索系统或图文审阅平台。适合想将国产大模型落地多模态场景的开发者、创业者、AI应用工程师深入参考使用。
图文多模态语义融合前的语义对齐——一种单双混合塔多模态模型
机器学习杂货铺1号店
01-28 7389
图文多模态语义融合前的语义对齐——一种单双混合塔多模态模型 FesianXu 20220127 at Baidu Search Team 前言 之前在博文[2-4]中介绍了一些图文多模态语义对齐相关的模型，分别是WenLan 1.0， WenLan 2.0和CLIP等，这些模型都是双塔结构模型，然而在实际的应用场景中，我们会有使用单塔模型的需求，笔者在本文将介绍一篇论文[1]的思路，将单塔模型和双塔模型结合在一起进行图文多模态语义融合和对齐。如有谬误请联系指出，本文遵循 CC 4.0 BY-...
最新图文大一统多模态模型：FLAVA
爱吃火锅的博客
01-05 4579
前言 多模态已是当下比较热的研究方向了，基于transformer框架的预训练多模态模型也是百花齐放，比如VILBERT等等。关于当前多模态的模型，笔者之前在微信公众号写过一篇综述，感兴趣的可以看一下： 多模态预训练模型综述紧跟研究热点，快来打卡多模态知识点吧~https://mp.weixin.qq.com/s?__biz=MzkzOTI4ODc2Ng==&mid=2247485865&idx=1&sn=b5c092b74044e5509f313f2803e982e6&
VLP、多模态图文任务（1）
qq_41458274的博客
09-20 1351
我们将VLP方法大致分为两类：(i) 双编码器（dual encoder）和 (ii) 融合编码器(fusion encoder)。
多模态—图文匹配
qq_51925699的博客
10-04 684
在模型训练时我们需要N个图片和N个文本对进行训练，文本通过text encoder形成文本语义向量，text encoder可以采用BERT，GPT，Bart等，图片也需要通过image encoder进行转化为图片向量，可以采用resnet，Vgg，ViT等。如下图所示，其对角线表示文图匹配对，我们作为正样本1，其余均是负样本-1，这里可以知道正样本是N个，负样本是N*N-N个，当N足够大时，正负样本数据不均衡问题会很明显，怎么做呢，我们需要对负样本采样。采样的策略是随机，还是顺序？
图像情感识别相关数据集、论文、代码
whutmengmeng的博客
04-03 4377
?FER Datasets ?FER Challenges ?Related Reviews ?Outstanding Researchers or Groups ?Related Confe...
多模态图文融合
⛄
05-01 3032
目录图文融合的数据集动作情感分析方法表情情感分析语义情感分析 图文融合的数据集 动作情感分析方法 表情情感分析 语义情感分析
基于海量图文数据和多粒度视觉特征的多模态预训练
xiehewe的博客
10-18 80
多模态预训练的工作原理可以分为两个关键步骤：图文数据的融合和多粒度特征的提取。其次，模型通过多粒度的卷积或注意力机制，从融合后的信息中提取不同层次的特征，使得模型能够更全面地理解输入数据。在不久的将来，我们有望看到更多基于多模态预训练的智能应用走进我们的生活，为我们的社会带来更多的便利和智能化体验。通过使用大规模的图像和文本数据，模型可以学习到更为丰富的语义表示，从而更好地理解视觉和语言之间的关系。未来，随着技术的不断进步，我们可以期待更加强大、智能的多模态预训练模型的涌现，推动人工智能迈向更高的境界。
首个大规模图文多模态数据集LAION-400M介绍
热门推荐
木盏
12-04 1万+
openAI的图文多模态模型CLIP证明了图文多模态在多个领域都具有着巨大潜力，随之而来掀起了一股图文对比学习的风潮。就在前几天（2022年12月），连Kaiming都入手这一领域，将MAE的思路与CLIP的思路结合，推出了FLIP，有兴趣可戳（https://arxiv.org/abs/2212.00794）。对于迷茫的CV研究生，如果你找不到研究方向，just follow Kaiming绝对不会出错。今天要介绍的是一个优秀的图文多模态数据集LAION，跟CLIP原始训练数据集就有相当体量，即400个m
基于transformer的微博图文情感分析
09-27
基于Transformer的微博图文情感分析，可以采用类似于BERT的预训练模型，即使用大规模的微博数据进行预训练，然后在微博图文情感分析任务上进行微调。 具体来说，可以使用Transformer编码器作为特征提取器，将微博文本和图片等多模态信息输入模型，得到文本和图片的表示向量。然后将这些表示向量输入到情感分类器中，进行情感分类任务。 在模型训练时，可以采用交叉熵损失函数，同时使用学习率调整策略和正则化方法来提高模型的泛化能力和鲁棒性。在测试时，可以使用准确率、召回率、F1值等指标来评价模型性能。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值