《深入浅出多模态》（二）：多模态任务及数据集介绍

已于 2024-10-21 15:34:50 修改
阅读量1.9k 收藏 26
点赞数 21
分类专栏： 深入浅出多模态 文章标签： 多模态 大模型 深度学习 人工智能 AIGC
于 2024-02-04 10:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36816848/article/details/135920016
版权
本文深入介绍多模态任务，涵盖概念、技术难点、下游任务（如Visual Grounding、VQA、Image Caption）及常用数据集，适合多模态研究初学者。文中探讨了Joint和Coordinated表征学习，并列举了多模态数据集如COCO Captions、RefCOCO等。
摘要由CSDN通过智能技术生成

在这里插入图片描述

✨专栏介绍： 本作者推出全新系列《深入浅出多模态》专栏，具体章节如导图所示（导图后续更新），将分别从各个多模态模型的概念、经典模型、创新点、论文综述、发展方向、数据集等各种角度展开详细介绍，欢迎大家关注。

💙作者主页: GoAI |💚 公众号: GoAI的学习小屋 | 💛交流群: 704932595 |💜个人简介 ： 掘金签约作者、百度飞桨PPDE、领航团团长、开源特训营导师、CSDN、阿里云社区人工智能领域博客专家、新星计划计算机视觉方向导师等，专注大数据与AI 知识分享。

💻文章目录

了解本专栏 订阅专栏 解锁全文 超级会员免费看
GoAI
关注
专栏目录
订阅专栏
数据集-(图像-文本)：LAION【史上最大规模多模态图文数据集，包含58.5亿个图像-文本对】
u013250861的博客
05-02 4260
之前的研究中，为了限制生成模型不生成种族主义图片，尝试在训练集中删除了与暴力相关的物体、人和面部的图像，然而，这显然限制了模型的通用能力—比如人脸生成。紧接着发布的ALIGN[3]、GLIDE[12]等证实了这一点，但是这些大型数据集都没有开源，因此这一领域的研究，只集中在少数几个机构中，2021年公布的LAION-400M[1]是当时最大的公开图文数据集，本次发布的LAION-5B[2]是LAION-400M的14倍，足够规模的公开数据使得该领域的研究更多元化，能够让更多的研究者参与到这一领域的研究中。
《深入浅出多模态》（三）：多模态任务前言知识
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
02-23 1985
本章为《深入浅出多模态》系列的第三章，本文《深入浅出多模态：多模态任务前言知识》主要介绍多模态的基础知识，包括Transformer基础、多模态任务如何对齐(文本和图像的编码过程、预训练损失介绍），目的为后面学习多模态模型做理论准备，后续文章将按照多模态方向具体论文发展时间顺序进行更新。多模态学习的内容比较丰富，希望和大家一起在多模态领域学习成长~
【多模态】1、几种多模态 vision-language 任务和数据集介绍
呆呆的猫的博客
07-17 4181
本文主要介绍几种多模态的基础任务
多模态数据集汇总
最新发布
m0_59163425的博客
09-24 1882
该数据集使用了视频、光流和音频作为不同的模态类型。目前智源开放了基础版WuDaoMM-base，该数据集是由强相关数据按照类别均衡抽取组成的，包含19个大类，分别为:能源、表情、工业、医疗、风景、动物、新闻、花卉、教育、艺术、人物、科学、大海、树木、汽车、社交、科技、运动等，单类别数据约7万~40万左右。数据集内容丰富，涵盖HTML、PDF和ArXiv等多种来源，旨在通过提供大规模、多样化的训练数据，推动前沿大型多模态模型（LMMs）的发展，解决现有开放源代码多模态数据集规模和多样性不足的问题。
多模态分析数据集（MULTIMODAL DATASET）
qq_45654781的博客
04-04 1220
链接：http://xiahunao.cn/article/1375751.html
多模态数据集
weixin_43499703的博客
09-30 839
原文链接：
多模态数据集：丰富的数据源为多模态研究提供支持
AI天才研究院
12-31 1804
1.背景介绍 多模态数据集在人工智能领域具有重要意义。随着数据的多样性和复杂性的增加，人工智能系统需要处理和理解多种类型的数据，例如图像、文本、音频和视频。多模态数据集为人工智能研究提供了丰富的数据源，以支持多模态研究的发展。 在本文中，我们将讨论多模态数据集的背景、核心概念、核心算法原理、具体代码实例以及未来发展趋势。我们将涵盖以下主题： 背景介绍 核心概念与联系 核心算法原理和具体操作...
《深入浅出多模态》之多模态经典模型：InstructBLIP
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
09-11 143
本文为《深入浅出多模态》系列多模态经典模型InstructBLIP，InstructBLIP用指令微调方法的时候会额外有一条 instruction，如何借助这个 instruction 提取更有用的视觉特征是本文的亮点之一。本文对模型进行详述，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，
《深入浅出多模态》（一）：多模态模型论文最全总结
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
01-24 2147
本文为《深入浅出多模态》系列第一章，《多模态模型论文最全总结》将从整体介绍多模态模型发展，结合综述对各个模型按照发展时间线及发展对应关系进行介绍，后续将对其中经典及最新多模态模型进行解决，从具体论文、数据集、代码、模型结构、结果等角度分析，本专栏适合从事多模态小白及爱好者学习，欢迎大家关注，如有侵权请联系删除！
《深入浅出多模态》（八）多模态经典模型：MiniGPT4
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
08-18 577
本文对MiniGPT-4的论文、模型结构、训练过程进行总结。MiniGPT-4 旨在将来自预训练视觉编码器的视觉信息与高级大型语言模型（LLM）对齐。总体采用和 BLIP-2 相同的架构，使用BLIP-2相同的视觉编码器，即 ViT 骨干 及其预训练的 Q-Former，只不过 LLM 换成 Vicuna（基于 LLaMA）。只对线性层进行训练。而且使用 指令微调 的方法。比 BLIP-2 强上一截，后续文章将继续介绍 MiniGPT-v2、MiniGPTv5等改进模型。
REGBD数据集 多模态行人
05-31
REGBD数据集，多模态行人重识别常用数据及。
史上最大多模态图文数据集发布！
夕小瑶科技说
11-03 3384
文 | 付瑶编 | 小轶最近多模态研究圈中出现了一个扬言 “史上最大规模”的多模态图文数据集：LAION-400。该数据集在今年8月完全公开，共计公开了 4亿图文对，可以依据不同的用途提供...
多模态语义分析_多模态情感分析数据集（Multimodal Dataset）整理
weixin_29212867的博客
12-28 2393
这里整理一下平时所用的多模态情感数据集以备之用，后面会不断地去添加，也希望能够帮到其他人，欢迎大家补充。最近发现有一个网站的数据集很全，包含了各种任务各种语言不同规模的数据集#The Big Bad NLP Database#，大家如果有更多的需要可以在上面找以下，链接是The Big Bad NLP Database一、双模态（一般是文本、图像和语音的两两组合）1.《Multi-Modal Sa...
多模态情感分析——Twitter15和Twitter17数据集
小嘤熊的博客
11-06 4900
将原始的train、dev、test合并到一起，共计5338条，然后将第一列的index作为图片和文本的名字，标签从数字转换为字符串，最终得到了10676个图文对，以及一个train.txt用来保存文件名和标签。将原始的train、dev、test合并到一起，共计5972条，然后将第一列的index作为图片和文本的名字，标签从数字转换为字符串，最终得到了11944个图文对，以及一个train.txt用来保存文件名和标签。（2）第二列是情感标签（0表示负面，1表示中性，2表示正面）；（1）第一列是索引；
基于多模态数据的情感分析
予以初始的博客
10-23 7599
目录前言1 介绍2 原理3 总结 前言 信息的来源与形态具有多样性，每种形态的数据都称为一种模态。就像人可以通过听觉、视觉、触觉来感知语音、图像、文本等多模态信息。深度学习针对这几种模态的信息产生了几个分支：自然语言处理、计算机视觉、语音识别等，采用不同特点的模型处理不同模态的信息。 多模态机器学习旨在让机器能够处理和理解多模态信息的能力，也就是同时利用文本、图像、语音等信息以及它们之间的交互，而不是只利用一种信息去做下游任务。只要能够转换成数字形式并且保留语义信息的数据，都能被机器加以利用。 1 介绍 本
多模态情感分析——基于CMU-MOSI和CMU-MOSEI数据集（文末获取源码）
小嘤熊的博客
01-05 8630
而且在视频中，由于口语的易变性以及伴随的手势和和声音，容易导致的模态内的动态不稳定。首先，采用早融合策略 将各模态特征进行拼接，然后将拼接的特征输入分类器中，并且每个模态的特征也单独输入 分类器中，最终得到所有组合的分类结果，并将所有分类结果进行晚融合策略。提出了一种新的模型Tensor Fusion Network（张量融合网络，TFN），TFN能够端到端地学习模态内和模态间的动态，采用一种新的多模态融合方法（张量融合）对模态间动态进行建模，模态内动态则通过三个模态嵌入子网络进行建模。
首个大规模图文多模态数据集LAION-400M介绍
热门推荐
木盏
12-04 1万+
openAI的图文多模态模型CLIP证明了图文多模态在多个领域都具有着巨大潜力，随之而来掀起了一股图文对比学习的风潮。就在前几天（2022年12月），连Kaiming都入手这一领域，将MAE的思路与CLIP的思路结合，推出了FLIP，有兴趣可戳（https://arxiv.org/abs/2212.00794）。对于迷茫的CV研究生，如果你找不到研究方向，just follow Kaiming绝对不会出错。今天要介绍的是一个优秀的图文多模态数据集LAION，跟CLIP原始训练数据集就有相当体量，即400个m
多模态大模型训练数据集汇总介绍
hello AI
11-21 8166
RefCOCO+中的查询不包含绝对的方位词，如描述对象在图像中位置的右边。OCR-VQA-200K是一个通过读取图像中的文本(OCR)进行视觉问答的大规模数据集，包含20多万张书籍封面图像及100多万个相关问答对，随机将80%、10%和10%的图像分别用于训练、验证和测试，因此分别产生了大约800K、100K和100K的训练、验证和测试QA对。数据集示例如下图所示，每个图的 caption 描述在图片正下方，绿色是根据下面的 caption 标注的 gt，蓝色是预测正确的框，红色是预测错误的框。
深入浅出MFC教程：从入门到精通
而非模态对话框允许用户同时与多个窗口进行交互。常用控件如静态文本框、按钮、编辑框、组合框、列表控件、树控件和标签控件等，是构建用户界面的基础。这些控件都有对应的MFC类，并且可以通过关联控件变量和基本...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

GoAI

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值