多模态公共空间表示常用数据集

最新推荐文章于 2024-09-24 20:15:45 发布
原创 最新推荐文章于 2024-09-24 20:15:45 发布 · 1.4k 阅读 · 7 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#计算机视觉 #图像处理 #人工智能

本文介绍了三个常用的多模态数据集：WiKipedia、PascalSentence和NUS-WIDE，用于图像-文本匹配和检索任务。WiKipedia数据集包含2866个图像/文本对，分为10个类别；PascalSentence数据集有1000个图文对，涵盖20个类别；NUS-WIDE数据集则拥有269,648张图像，涉及5018个独特标签。此外，还提及了PKUXMediaNet数据集，这是一个包含5种媒体类型的大型多模态数据集，涉及200个类别。

WiKipedia（弱相关数据集）

数据集地址

模态

图像（image）

文本

描述

维基百科数据集 是最广泛使用的跨媒体检索数据集。 它基于维基百科的“特色文章”，一个不断更新的文章集合。 “专题文章”共有29个类别，但实际上只考虑了10个最多的类别。 每篇文章根据其部分标题分为几个部分，该数据集最终生成为一组 2,866 个图像/文本对。 维基百科数据集作为跨媒体检索的重要基准数据集，自公开以来就被广泛使用。

该数据集共有2866对图像和文本对，分10个类别（单标签）

art 
biology
geography
history
literature
media
music
royalty
sport
warfare

常用数据集划分

dastset modality instance feature label
WikI

image

text

2173/231/462

2173/231/462
最低0.47元/天 解锁文章
多模态大模型：技术原理与实战 多模态大模型的主要应用场景
AI天才研究院
05-19 2131
随着人工智能技术的快速发展，多模态大模型已经成为了当前AI领域最热门的研究方向之一。这些模型能够同时处理和理解多种数据类型，如文本、图像、音频和视频，从而实现更加全面和智能的信息处理能力。多模态大模型的出现不仅推动了人工智能技术的进步，也为各行各业带来了革命性的变革。在本文中，我们将深入探讨多模态大模型的技术原理，并重点关注其主要应用场景。我们将从理论到实践，全面解析这一前沿技术，帮助读者更好地理解和应用多模态大模型。表示学习：学习不同模态数据的统一表示。注意力机制：捕捉不同模态之间的关键信息。
《深入浅出多模态》（二）：多模态任务及数据集介绍
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-04 3301
本文为《深入浅出多模态》系列第二章，《多模态任务介绍与背景》主要介绍多模态模型的概念、技术难点、下游任务（Visual Grounding、VQA、image/Video Captioning等）及各类应用方向数据集展开介绍，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
PascalSentenceDataset:Pascal句子数据集的刮除程序
05-10
PascalSentenceDataset 该程序可用于下载Pascal句子数据集。 安装 您可以通过“ git clone”命令进行安装。 git clone https://github.com/rupy/PascalSentenceDataset.git 相依性 您必须安装一些python库。 使用pip命令。 pyquery 1.2.9 requests 2.6.0 用法 要下载数据集，只需运行程序，如下所示： python pascal_sentence_dataset.py 您也可以这样编写代码： # import from pascal_sentence_dataset import PascalSentenceDataSet # create instance dataset = PascalSentenceDataSet () # download images
NUS-WIDE-10K数据集制作
weixin_44012382的博客
10-12 3910
NUS-WIDE是一个多标签数据集，数据集中一共包含26,9648个样本，可以分为81个类。最近在做跨模态检索项目，发现有很多论文里面都用到了NUS-WIDE-10K数据集，但是在网上也没有搜索到相关的数据集下载链接或者是数据集制作代码，所以自己动手写了一个NUS-WIDE-10K数据集的制作代码。 1.介绍 我在网上找到的最早关于NUS-WIDE-10K数据集描述的论文是：Cross-modal Retrieval with Correspondence Autoencoder。描述如下：作者选择了N
NUS-WIDE 网络标签图像数据集
07-02
NUS-WIDE 是一个带有网络标签标注的图像数据，包含来自网站的 269648张 图像，5018类 不同的标签。
M4C精读:融合多种模态到公共语义空间，使用指针增强多模态变形器来迭代应答TextVQA任务 Iterative Answer Prediction Pointer-Augmented
隆力奇的博客
05-09 2643
M4C精读:融合多种模态到公共语义空间，使用指针增强多模态变形器来迭代应答TextVQA任务 Iterative Answer Prediction with Pointer-Augmented Multimodal Transformers for TextVQA 摘要 许多视觉场景都包含了承载重要信息的文本，因此理解图像中的文本对于后续的推理任务是至关重要的。例如，一个警告标志上的深水标签警告人们在现场的危险。最近的工作探索了TextVQA任务，它要求阅读和理解图像中的文本来回答一个问题。然而，现有的T
多模态数据集汇总
最新发布
m0_59163425的博客
09-24 7188
该数据集使用了视频、光流和音频作为不同的模态类型。目前智源开放了基础版WuDaoMM-base，该数据集是由强相关数据按照类别均衡抽取组成的，包含19个大类，分别为:能源、表情、工业、医疗、风景、动物、新闻、花卉、教育、艺术、人物、科学、大海、树木、汽车、社交、科技、运动等，单类别数据约7万~40万左右。数据集内容丰富，涵盖HTML、PDF和ArXiv等多种来源，旨在通过提供大规模、多样化的训练数据，推动前沿大型多模态模型（LMMs）的发展，解决现有开放源代码多模态数据集规模和多样性不足的问题。
自动驾驶深度多模态目标检测和语义分割:数据集、方法和挑战
weixin_43823175的博客
01-14 8546
自动驾驶深度多模态目标检测和语义分割:数据集、方法和挑战 原文地址：https://arxiv.org/pdf/1902.07830.pdf Deep Multi-Modal Object Detection and Semantic Segmentation for Autonomous Driving: Datasets, Methods, and Challenges 摘要 深度学习推动了自动驾驶感知技术的最新进展。为了实现鲁棒和准确的场景理解，自动驾驶汽车通常配备不同的传感器(如相机、激光雷达、雷达
多模态情感识别数据集和模型(下载地址+最新综述2021.8)
热门推荐
qq_44722174的博客
09-01 3万+
引用论文：Zhao, Sicheng, et al. “Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies.” arXiv preprint arXiv:2108.10152 (2021). PDF链接：Emotion Recognition from Multiple Modalities: Fundamentals and Methodologies. 新鲜出炉的赵思成和杨巨峰大佬的论文哦（情感识别领域
多模态关键任务与应用综述（从表示到融合，从协同学习到关键技术梳理）
weixin_42455006的博客
04-18 1万+
冗余性 和 互补性 是多模态各种特性存在的基础 1.双线性池化 特征融合即输入两个模态的特征向量，输出融合后的向量。最常用的方法是拼接、按位乘、按位加。有些作者认为这些简单的操作效果不如外积/叉乘得tensor，不足以建模两个模态间的复杂关系。但外积计算存在复杂度过高的问题。双线性（Bilinear）就是向量外积的计算。双线性池化（Bilinear Pooling）是对双线性融合后的特征进行池化。 例如LMF（Low-rank Multimodal Fusion），PTP (polynomialtensor
【多模态】1、几种多模态 vision-language 任务和数据集介绍
呆呆的猫的博客
07-17 5479
本文主要介绍几种多模态的基础任务
REGBD数据集 多模态行人
05-31
REGBD数据集，多模态行人重识别常用数据及。
NUS-WIDE多标签分类数据集整理
11-29
博客地址为：https://blog.csdn.net/w5688414/article/details/84593705 用keras进行多标签分类的图片数据集，图片取自于NUS-WIDE数据集
天池数据集 | 精品数据集推荐 多模态篇
qq_40309616的博客
01-07 2031
多模态er看过来，一大波数据集正派送中，记得签收哦~
Pascal Sentences数据集预处理
iTom's blog
11-24 2276
Pascal Sentences[1] 包含来自 VOC 2008[2] 的 1000 对图文对，每幅图有 5 句描述，现参照 [3] 处理。 Data 数据在 [1]，其中 label 是藏在 image 的链接路径中（可右键图片在新窗口打开看网址，或在浏览器 F12 打开调试查看元素）。 直接保存网页，会下载得到 pascal-sentences.htm 文件、pascal-sentences_files/ 目录。其中，images 装在目录里，sentences 嵌在 html 文件中。 原本（在浏览
跨模态检索常用数据集
zzpl139的博客
12-19 3082
跨模态检索常用数据集
NUS-WIDE数据集预处理
iTom's blog
11-24 1万+
NUS-WIDE 数据集预处理
文献阅读-融合注意力机制的 IETM 细粒度跨模态检索算法
Ricardo_PING的Blog
10-20 1932
文献阅读-融合注意力机制的 IETM 细粒度跨模态检索算法
图像检索多标签数据集NUS_WIDE
qq_37089829的博客
12-28 5172
NUS_WIDE 是一个多标签场景数据集，其中包含的有81个标签。拥有图片269648万张。 数据集中的某一类图片如上所示， 在图像检索中，我们常常使用最常用的21个标签来作为图像检索的数据集。第一步，先把数据集分为训练集和测试集；第二步，在测试集中，每一个类挑选100张图片，构成2100张图片的查询集。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值