《深入浅出多模态》（二）：多模态任务及数据集介绍

已于 2024-02-26 10:00:03 修改
阅读量1.4k 收藏 24
点赞数 21
分类专栏： 深入浅出多模态 深度学习 文章标签： 多模态 大模型 深度学习 人工智能 AIGC
于 2024-02-04 10:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36816848/article/details/135920016
版权

在这里插入图片描述

✨专栏介绍： 本作者推出全新系列《深入浅出多模态》专栏，具体章节如导图所示（导图后续更新），将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集等各种角度展开详细介绍，欢迎大家关注。

💙作者主页: GoAI |💚 公众号: GoAI的学习小屋 | 💛交流群: 704932595 |💜个人简介 ： 掘金签约作者、百度飞桨PPDE、领航团团长、开源特训营导师、CSDN、阿里云社区人工智能领域博客专家、新星计划计算机视觉方向导师等，专注大数据与AI 知识分享。

💻文章目录

《深入浅出多模态》（一）：多模态模型论文最全总结
《深入浅出多模态》（二）：多模态任务应用与背景（本篇）<

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GoAI
关注
  • 21
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
专栏目录
订阅专栏
多模态分析数据集（MULTIMODAL DATASET）
qq_45654781的博客
04-04 1073
链接：http://xiahunao.cn/article/1375751.html
多模态情感分析——Twitter15和Twitter17数据集
小嘤熊的博客
11-06 3317
将原始的train、dev、test合并到一起，共计5338条，然后将第一列的index作为图片和文本的名字，标签从数字转换为字符串，最终得到了10676个图文对，以及一个train.txt用来保存文件名和标签。将原始的train、dev、test合并到一起，共计5972条，然后将第一列的index作为图片和文本的名字，标签从数字转换为字符串，最终得到了11944个图文对，以及一个train.txt用来保存文件名和标签。（2）第二列是情感标签（0表示负面，1表示中性，2表示正面）；（1）第一列是索引；
【探索多模态视觉问答】数据集概览及特点分析
weixin_45921929的博客
03-25 1323
在计算机视觉和自然语言处理领域，视觉问答（VQA）是一个重要的任务，旨在让计算机理解图像内容并回答关于图像的问题。为了促进和评估多模态模型在视觉问答任务上的表现，研究人员构建了多个丰富的数据集。本文将介绍几个主要的视觉问答数据集，包括VQA v2.0、VizWiz-VQA、GQA、POPE、MM-VET、MME、MMBench和SEED-Bench。我们将分析这些数据集的特点、构建方式以及在评估多模态模型方面的作用，旨在为研究人员提供对多模态视觉问答数据集的全面认识。
多模态情感分析——基于CMU-MOSI和CMU-MOSEI数据集（文末获取源码）
小嘤熊的博客
01-05 5279
而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。首先，采用早融合策略 将各模态特征进行拼接，然后将拼接的特征输入分类器中，并且每个模态的特征也单独输入 分类器中，最终得到所有组合的分类结果，并将所有分类结果进行晚融合策略。提出了一种新的模型Tensor Fusion Network（张量融合网络，TFN），TFN能够端到端地学习模态内和模态间的动态，采用一种新的多模态融合方法（张量融合）对模态间动态进行建模，模态内动态则通过三个模态嵌入子网络进行建模。
【多模态】1、几种多模态 vision-language 任务和数据集介绍
呆呆的猫的博客
07-17 3027
本文主要介绍几种多模态的基础任务
多模态大模型训练数据集汇总介绍
hello AI
11-21 5041
RefCOCO+中的查询不包含绝对的方位词，如描述对象在图像中位置的右边。OCR-VQA-200K是一个通过读取图像中的文本(OCR)进行视觉问答的大规模数据集，包含20多万张书籍封面图像及100多万个相关问答对，随机将80%、10%和10%的图像分别用于训练、验证和测试，因此分别产生了大约800K、100K和100K的训练、验证和测试QA对。数据集示例如下图所示，每个图的 caption 描述在图片正下方，绿色是根据下面的 caption 标注的 gt，蓝色是预测正确的框，红色是预测错误的框。
Havard多模态医学图像融合数据集
04-12
Havard-Medical-Image-Fusion-Datasets-main ...在朋友的告知下，有人在Github整理出了代码，我下载下来方便各位下载。 Github下载链接：https://github.com/yidamyth/Havard-Medical-Image-Fusion-Datasets
高光谱和LiDAR多模态遥感图像分类数据集
最新发布
06-17
高光谱和LiDAR多模态遥感图像分类数据集，包含Houston2013，Trento，MUUFL。
百万量级的多模态对话数据集来了！
04-08
百万量级的多模态对话数据集来了，153万张图片4000多主题 MMDialog，这个由北大&微软最新发布的英文数据集，包含了108万个来源于真实世界的高质量对话。 其中包括非重复图片153万张，涉及4184个主题，还支持多种表情...
多模态张量数据挖掘算法及应用
02-24
首先根据算法的样本标记、任务和核心技术的不同,对这些方法进行分类,并给出了相应的介绍和分析。其次,讨论了一些多模态张量数据挖掘算法在计算机视觉问题中的典型应用。最后,就多模态张量挖掘在计算机视觉领域的研究...
python实现基于文本和多模态数据的风险识别源码.zip
05-10
python实现基于文本和多模态数据的风险识别项目源码.zip字节跳动安全AI挑战赛——色情导流用户识别项目源码python实现基于文本和多模态数据的风险识别项目源码.zip字节跳动安全AI挑战赛——色情导流用户识别项目源码...
多模态数据集
weixin_43499703的博客
09-30 726
原文链接：
多模态数据集：丰富的数据源为多模态研究提供支持
禅与计算机程序设计艺术
12-31 1188
1.背景介绍 多模态数据集在人工智能领域具有重要意义。随着数据的多样性和复杂性的增加，人工智能系统需要处理和理解多种类型的数据，例如图像、文本、音频和视频。多模态数据集为人工智能研究提供了丰富的数据源，以支持多模态研究的发展。 在本文中，我们将讨论多模态数据集的背景、核心概念、核心算法原理、具体代码实例以及未来发展趋势。我们将涵盖以下主题： 背景介绍 核心概念与联系 核心算法原理和具体操作...
首个大规模图文多模态数据集LAION-400M介绍
热门推荐
木盏
12-04 1万+
openAI的图文多模态模型CLIP证明了图文多模态在多个领域都具有着巨大潜力，随之而来掀起了一股图文对比学习的风潮。就在前几天（2022年12月），连Kaiming都入手这一领域，将MAE的思路与CLIP的思路结合，推出了FLIP，有兴趣可戳（https://arxiv.org/abs/2212.00794）。对于迷茫的CV研究生，如果你找不到研究方向，just follow Kaiming绝对不会出错。今天要介绍的是一个优秀的图文多模态数据集LAION，跟CLIP原始训练数据集就有相当体量，即400个m
多模态（文本、图片）数据融合模型（含公开数据集、文献及开源代码汇总）
zhanlang619的博客
08-24 1356
多模态数据融合模型，包含公开数据集、文献你及开源代码汇总
【文档智能】多模态预训练模型及相关数据集汇总
余俊晖，NLP炼丹师，目前专注自然语言处理领域研究。曾获得国内外自然语言处理算法竞赛TOP奖项近二十项。
10-15 798
大模型时代，在现实场景中或者企业私域数据中，大多数数据都以文档的形式存在，如何更好的解析获取文档数据显得尤为重要。文档智能也从以前的目标检测（版面分析）阶段转向多模态预训练阶段，本文将介绍目前一些前沿的多模态预训练模型及相关数据集。本文简单介绍了文档智能领域关于多模态预训练语言模型相关内容及相关数据集，相对于基于目标检测（版面分析）的pipline形式，多模态预训练模型能够一定程度的实现端到端的提取文本内容。但实际应用还需要根据特定的场景进行进一步的研究。
数据集 | 基于语音（Speech）/多模态（Multimodal）的情绪识别数据集，格式及下载
weixin_44649780的博客
05-12 7054
RAVDESS 包含 24 名专业演员（12 名女性，12 名男性），用中性的北美口音说出两个词汇匹配的陈述。文件名由 7 部分数字标识符组成（例如，03-01-06-01-02-01-12.wav）。情绪（01 = 中性，02 = 平静，03 = 快乐，04 = 悲伤，05 = 愤怒，06 = 恐惧，07 = 厌恶，08 = 惊讶）。情绪强度（01 = 正常，02 = 强烈）。模态（01 = 全 AV，02 = 仅视频，03 = 仅音频）。文件名示例：03-01-06-01-02-01-12.wav。
数据集-(图像-文本)：LAION【史上最大规模多模态图文数据集，包含58.5亿个图像-文本对】
u013250861的博客
05-02 3608
之前的研究中，为了限制生成模型不生成种族主义图片，尝试在训练集中删除了与暴力相关的物体、人和面部的图像，然而，这显然限制了模型的通用能力—比如人脸生成。紧接着发布的ALIGN[3]、GLIDE[12]等证实了这一点，但是这些大型数据集都没有开源，因此这一领域的研究，只集中在少数几个机构中，2021年公布的LAION-400M[1]是当时最大的公开图文数据集，本次发布的LAION-5B[2]是LAION-400M的14倍，足够规模的公开数据使得该领域的研究更多元化，能够让更多的研究者参与到这一领域的研究中。
社交情感分析多模态数据集
12-12
社交情感分析多模态数据集是用于多模态情感分析任务的数据集，其中包含了文本、图像、视频等多种模态的数据。＊＊＊＊＊＊的视频片段，每个片段都有对应的文本和音频信息。该数据集被广泛用于多模态情感分析任务的研究。 2. MELD数据集：该数据集包含了来自于电影对话的文本、音频和视频信息。该数据集被用于评估多模态情感分析模型的性能。 3. IEMOCAP数据集：该数据集包含了来自于电影对话的音频和视频信息，以及对应的文本转录。该数据集被广泛用于情感识别和情感分析任务的研究。 以上是一些常用的社交情感分析多模态数据集，它们可以帮助研究人员评估多模态情感分析模型的性能，并推动多模态情感分析任务的发展。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值