Text-VQA数据集以及方法总结

置顶 已于 2022-09-16 15:25:47 修改
阅读量8k 收藏 37
点赞数 4
分类专栏： 多模态学习 文章标签： 深度学习 人工智能
于 2020-08-04 23:41:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38007695/article/details/107802548
版权

TextVQA

数据集

TextVQA

官网链接 | 下载链接 | 论文链接

数据集：28,408 张图像，45,336 个问题 ( 37,912 )，453,360 个答案 ( 26,263 )
训练集：21,953 张图像，34,602 个问题
验证集： 3,166 张图像， 5,000 个问题
测试集： 3,289 张图像， 5,734 个问题

数据来源：Open Images v3 dataset

每张图像 1-2 个问题，每个问题 10 个答案，问题的平均长度为 7.18 个单词，答案的平均长度为 1.58 个单词

问题的前四个单词的分布：

在这里插入图片描述

例子：
在这里插入图片描述

ST-VQA

官网链接 | 下载链接 ｜ 论文链接

数据集：23,038张图像，31,791个问题
训练集：19,027张图像，26,308个问题
测试集： 2,993 张图像， 4,163个问题

数据来源 ：Coco-Text, Visal Genome, VizWiz, ICDAR(13+15), ImageNet, IIIT-STR

在这里插入图片描述

问题的前四个单词的分布：

在这里插入图片描述

例子：

在这里插入图片描述

OCR-VQA

官网链接 | 下载链接 ｜ 论文链接

207572 张图像（书的封面），超过100万个问答对 ( train : val : test = 8 : 1 : 1 )

数据来源：Book Cover Dataset

在这里插入图片描述

例子：

在这里插入图片描述

EST-VQA ( Chinese + English)

官网链接 | 下载链接 | 论文链接

数据集：25239张图像，28062个问题
训练集：20757张图像，23062个问题
测试集： 4482张图像， 5000个问题

数据来源：
英文数据：Total-Text, ICDAR2013, ICDAR2015, CTW1500, MLT, COCO-Text
中文数据：LSVT

15056个英文问题和13006个中文问题；
只可以通过图像中文本回答，并且还标注了该答案对应的矩形边界框（证据）

数据集的中英分布：

在这里插入图片描述

问题前四个单词分布：

在这里插入图片描述
在这里插入图片描述

例子：

在这里插入图片描述

数据集对比

数量对比：
在这里插入图片描述

[4] ST-VQA
[24] OCR-VQA
[29] Text-VQA
最后一行是 STE-VQA

TextVQA 和 ST-VQA 数据集对比：

  1. ST-VQA的数据源多样，而TextVQA的数据源仅仅来自Open Images数据集；
  2. 依据提出的问题，ST-VQA 比 TextVQA 的问题更能被无歧义的回答；
  3. Text-VQA 的图像从一个数据集中筛选出来的，有 39% (18K) 的问题的答案不能从OCR结果中找到，而ST-VQA 几乎可以全部使用图片中的文本回答。

方法

VQA dataset
不务正业的猿
09-20 460
原文： VQA is a new dataset containing open-ended questions about images. These questions require an understanding of vision, language and commonsense knowledge to answer.265,016 images (COCO and abstract scenes) At least 3 questions (5.4 questions on ave
多模态大模型训练数据集汇总介绍
hello AI
11-21 1万+
RefCOCO+中的查询不包含绝对的方位词，如描述对象在图像中位置的右边。OCR-VQA-200K是一个通过读取图像中的文本(OCR)进行视觉问答的大规模数据集，包含20多万张书籍封面图像及100多万个相关问答对，随机将80%、10%和10%的图像分别用于训练、验证和测试，因此分别产生了大约800K、100K和100K的训练、验证和测试QA对。数据集示例如下图所示，每个图的 caption 描述在图片正下方，绿色是根据下面的 caption 标注的 gt，蓝色是预测正确的框，红色是预测错误的框。
TextVQA:TextVQA数据集的网站
05-14
TextVQA网站 该项目是使用create-react-app 。 要运行它，请按照以下说明进行操作： 安装节点的最新版本。 （最好通过安装） 通过npm install -g yarn 克隆存储库，并在其中cd frontend && yarn install 。 现在运行yarn start ，您的网站应该会在浏览器中弹出。 执照 在文件中找到LICENSE。
视觉语言模型VLM时代的OCR2.0系列
最新发布
m0_59164520的博客
04-01 1150
这一时期的OCR主要依赖于手工设计的特征提取和传统机器学习算法。
VQA数据集及评价方法介绍
lsh894609937的专栏
03-12 7706
VQA(Visual Question Answering)是一项涉及到计算机视觉和自然语言处理的视觉任务，简单介绍下当前VQA所使用的数据集：     1. DQAUAR     DAQUAR(The DAtaset for QUestion Answering on Real-world images)是最早提出的VQA数据集，也是最小的VQA数据集。DAQUAR中的图像来自于NYU-D
TextVQA
qq_38939991的博客
07-24 1329
2019_ICCV_ST-VQA 关于ANLS（Average Normalized Levenshtein Similarity） 字符串相似度三种算法：https://www.cnblogs.com/lishanyang/p/6016737.html 字符串相似度算法——Levenshtein Distance算法：https://blog.csdn.net/weixin_34166847/article/details/86032234 编辑距离越小，两个串的相似度越大。编辑距离改进：https:/
Scene Text VQA
个人学术整理
09-11 498
目前 VQA 数据集没有考虑图像中文本传递的丰富语义信息。
OK-VQA数据集
qq_38343151的博客
12-09 4739
《OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge》这篇文章中提出了articlenet网络来编码提取出来的文章，文章中也提出了OK-VQA数据集。回答该数据集的问题是一项有挑战性的任务。 1、介绍 VQA使得我们能够在视觉和语言的联合空间中学习推理，也能够进行场景理解。然而，大部分的VQA都...
OCR_DataSet:收集并整理有关OCR的数据集并统一标注格式，刹车实验需要
03-20
提供数据集百度云链接 数据集转换为统一格式（检测和识别） icdar2015 MLT2019 COCO-Text_v2 记录 投资回报率 艺术 低速VT 合成器 icdar2017rctw MTWI 2018 百度中文场景文字识别 梅西恩斯 合成中文字符串数据...
【论文精读】LaTr: Layout-Aware Transformer for Scene-Text VQA
weixin_53215555的博客
12-09 930
LaTr
ICDAR 2019比赛及数据集下载-任务-ICDAR 2019场景文本视觉问答中的稳健阅读挑战
python深度学习笔记,一起学习的加QQ2737499951
11-26 1425
ICDAR 2019比赛及数据集下载 https://rrc.cvc.uab.es/?ch=11&com=tasks 任务-ICDAR 2019场景文本视觉问答中的稳健阅读挑战 挑战包含三个任务，它们都是2019年竞赛的新任务： 高度上下文相关，每个图像都有一个字典，其中包含出现在针对该图像问题定义的答案中的单词以及一系列干扰因素。 弱上下文化，参与者将拥有一个针对所有数据集图...
VQA（视觉问答）数据集
weixin_41012399的博客
07-30 441
VQAV1论文：VQA: Visual Question Answering。
easy-VQA:Easy Visual Questioning Answering数据集
05-04
易vqa Easy Visual Question Answering（easy-VQA）数据集的官方存储库。 包含： 数据集的官方 用于生成数据集的源代码 阅读以获取更多信息。 关于数据集 easy-VQA包含 4,000张火车图像和38,575条火车问题。 1,000个测试图像和9,673个测试问题。 总共13个可能的答案。 28,407个是/否的培训问题。 7,136个是/否的测试问题。 所有图像均为64x64彩色图像。 查看在数据集上训练的模型的。 范例图片 （以上这些图片链接仅适用于Github ） 示例问题 矩形是什么颜色？ 图像中是否包含三角形？ 没有蓝色的形状吗？ 图像包含什么形状？ 安装套件 pip install easy-vqa 使用包装 问题 每个问题分为三个部分： 问题文字 答案 图片编号 问题获取器为3个部分中的每个部分返回对应
VQA数据集介绍
xiashilin的博客
10-18 3984
VQA学习（四） TextVQA——LoRRA
yang1573的博客
06-05 2345
一、TextVQA拟解决的问题 许多的vqa问题包含图像中的文字信息。之前的VQA模型无法解决。 TextVQA与传统VQA的的区别是： 识别出图片中的文字信息，从这些文字、图像信息及相关推理中预测答案 TextVQA需要解决的主要问题如下所示 辨别出问题问的是有关文本的信息 检测出包含文本的区域 文本的图像信息转化成文本表示 分析各种特种从而关注到正确的文本区域 最终的答案是否需要对文本表示再处理 二、LoRRA（Look，Read，Reas.
TextVQA论文汇总
lch的博客
08-12 1283
目录 CVPR2019：LoRRA（数据集） 题目 Towards VQA Models That Can Read 下载链接 出自Facebook AI研究院 动机 视觉障碍者对于VQA的需求主要围绕于阅读图片上的问题，但是现有的VQA模型并没有这个功能。故本文提出了一个全新的数据集“TextVQA”，并基于此数据集提出了可以利用图片上文字信息进行VQA的方法LoRRA。 贡献 提出TextVQA数据集。 提出LoRRA方法（Look、Read、Reason & Answer），可以基于O
【数据集收集】用于视觉问答VQA常用的数据集（持续更新，最后更新时间2019-09）
热门推荐
QQ704630835的博客
08-23 1万+
一、背景 最近刚开始做视觉问答VQA，看了很多文献，但是目前还无从下手，所以准备先把网上的公开的VQA数据集记录下来。前面自己也读了一些文献，文献中多多少少都有介绍数据集的情况，比如： [1]【文献阅读】VQA的综述：数据集，算法和挑战（K. Kafle等人，Computer Vision and Image Understanding，2017） [2]【文献阅读】兼顾图像理解和推理能...
VQA数据集Python API及评估代码：视觉问答的利器
gitblog_01126的博客
10-10 581
VQA数据集Python API及评估代码：视觉问答的利器 VQA 项目地址: https://gitcode.com/gh_mirrors/vq/VQA 项目介绍 VQA...
VQA(MSCOCO)数据集相关介绍
zdcs的专栏
12-08 5693
因为要预研VQA项目参考，趁GPU满负荷的时间，记录下这个数据集相关笔记： 官方网站http://www.visualqa.org/ 目前发布了v1.0, 包含 真实图像（MSCOCO 数据集）： 204,721 MSCOCO images (all of current train/val/test)614,163 questions6,141,630 groun
多模态回归预测数据集
12-26
### 多模态回归预测数据集 对于多模态回归预测的任务，存在多个常用的数据集可以支持机器学习的研究和发展。以下是几个典型的数据集： #### 1. NUS-WIDE 数据集 NUS-WIDE 是一个多标签图像数据库，包含了大约265,000张图片以及对应的文本描述。这个数据集非常适合用来探索图像和文本之间的关系，并可用于构建多模态的回归模型[^1]。 ```python import tensorflow as tf from tensorflow.keras.preprocessing.image import img_to_array, load_img # 加载并预处理单个样本作为例子 image_path = 'path/to/nus_wide/image.jpg' text_description = "example text description" img = load_img(image_path, target_size=(224, 224)) arr = img_to_array(img) print(f"Image shape: {arr.shape}") print(f"Text Description Length: {len(text_description)}") ``` #### 2. MS COCO (Microsoft Common Objects in Context) MS COCO 提供了大量的自然场景下的高质量标注图像及其详细的语义分割、目标检测框及文字说明。此数据集中丰富的信息使得其成为理想的多模态分析对象之一。 #### 3. VQA (Visual Question Answering) Dataset VQA 数据集不仅提供了大量的图像资源，还附带了针对这些图像的具体问题与答案对。这些问题往往涉及定量估计或属性判断等内容，因此特别适合开展多模态回归任务的研究[^3]. #### 4. TIDIGITS Database TIDIGITS 是一个语音识别领域内的经典数据集，其中含有说话者朗读数字串的声音文件连同相应的转录本。虽然主要用于音频处理方面的工作，但对于想要尝试跨媒体（比如声音-文本）之间建立联系的应用来说也是不错的选择。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CharlesWu123

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值