VQA在CLEVR上的简单实现

最新推荐文章于 2024-05-24 14:45:00 发布
最新推荐文章于 2024-05-24 14:45:00 发布
阅读量718 收藏 6
点赞数 1
分类专栏： 多模态 文章标签： 深度学习 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qiongyaoxinpo/article/details/126741874
版权

前言

Visual Question Answering是多模态学习的一个领域，模型通过结合图像与问题，推理出正确的答案，由于问题问的是图像中出现物品的方位，大小，形状等等，因此问题与图像之间具有强相关性，因此就需要模型能够同时学习到图像中的信息以及文本间的信息，并进行融合分析

模型

在这里插入图片描述
简单复现了MCAN模型，搜索MCAN就可以搜到作者他们的github地址，由于项目代码过多，为了方便训练与测试，我自己写了一个简单版本的，总共只有2个py文件，一个是训练用，一个是模型用。
复现的模型思路为堆叠式的，这个比较容易理解，对图像和文本分别经过self-attention之提取各自的特征后，通过cross-attention对文本和图像特征进行融合，堆叠多层之后输出问题的答案。对于CLEVR数据集，由于问题都是只有单独的答案，因此采用cross entropy作为损失。

特征选择

按照MCAN给出的结果，采用resnet101的特征训练能够达到98%的准确率，因此博主也采用resnet101的特征进行训练，对于CLEVR数据集，可以采用OPENVQA给出的特征提取demo进行特征提取，得到特征之后就可以进行训练了。

开源代码

我将代码开源在了GitHub，代码简短，简单易懂，欢迎尝试Visual-Question-Answering-CLEVR

hangguns
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
VQA:VQA项目
03-17
VQA VQA项目
Transformers-VQA:将预训练的V + L模型下游处理到VQA任务的实现。 现在支持
05-23
变形金刚 对VQA任务进行下行趋势化的预训练V + L模型的实现。 现在支持：Linux和上的VisualBERT，LXMERT和 。 笔记： 这只是一个测试版，如果遇到任何错误，请随时提出问题。 我们的实现基于的大型。 如果您采用V + L模型的预训练权重，请考虑引用其原始工作。 如果您发现我们的实施有帮助，请考虑引用以下内容：） @inproceedings{li2020comparison, title={A comparison of pre-trained vision-and-language models for multimodal representation learning across medical images and reports}, author={Li, Yikuan and Wang, Hanyin and Luo, Yuan},
如何利用大模型在自己的领域做出花？
最新发布
python122_的博客
05-24 1959
本文选取了VQA任务中比较难的两个数据集OK-VQA以及A-OKVQA进行实验。其中采用的上游VQA模型是改进+在传统VQA数据集上预训练的MCAN模型，作为baseline，原始的MCAN模型、改进但未预训练的MCAN模型以及本文用到的MCAN模型在OK-VQA测试集上的准确率如下：之后，文章给出了Prophet与若干对比的方法在OK-VQA上的实验结果。其中对比算法分为三组，这三组方法分别是用外部KB作为知识来源、用大规模多模态预训练获取知识以及用大模型作为知识来源。
mcan-vqa代码
⛄
09-07 924
总代码readme.md 先决条件 软硬件要求 您可能需要一台至少配备1 个 GPU (>= 8GB)、20GB 内存和50GB 可用磁盘空间的机器。我们强烈建议使用 SSD 驱动器来保证高速 I/O。 您应该首先安装一些必要的软件包： 安装Python >= 3.5 安装Cuda >= 9.0 和cuDNN 使用 CUDA安装PyTorch >= 0.4.1（也支持 PyTorch 1.x） 安装SpaCy并初始化 GloVe 如下： $ pip install -r requ
VQA评测evaluation代码：gqa / aokvqa / vqav2 / scienceQA
joyce_peng的博客
07-13 1353
vqa评测
openvqa:用于视觉问题解答研究的轻量级，可扩展的通用框架
05-06
OpenVQA OpenVQA是用于视觉问题解答（VQA）研究的通用平台，在不同的基准数据集（例如 ， 和 ）上实施了最新的方法（例如 ， ， ， 和 ）。 对更多方法和数据集的支持将不断更新。 文献资料 从开始并了解有关OpenVQA的更多信息。 基准和模型动物园 下表显示了受支持的方法和基准数据集。 结果和模型可在MODEL ZOO中获得。 VQA-v2 GQA CLEVR BUTD ✓ ✓ 最惠国待遇 ✓ MFH ✓ 禁止 ✓ ✓ MCAN ✓ ✓ ✓ MMNasNet ✓ 新闻与更新 v0.7.5（30/12/2019） 为CLEVR上的方法添加支持和预先训练的模型。 v0.7（29/11/2019） 为GQA上的方法添加支持和预先训练的模型。 添加文档以告诉开发人员如何向OpenVQA添加新模型。 v0.6（18/09/201
VQA2020_综述.pdf
12-21
在WACV2020会议上，针对CQA的研究提出了一种名为PReFIL的图像和语言并行递归融合算法，以解决传统VQA方法在细粒度测量、光学字符识别和处理问题及答案之外单词的不足。PReFIL通过融合图像和问题特征，生成双模态嵌入...
VQA_Demo:在预训练模型上的视觉问题解答演示
05-24
这是一个简单的视觉问题演示演示，它使用预先训练的模型（请参阅models / CNN和models / VQA）来回答有关给定图像的给定问题。相依性Keras版本2.0+ 基于python的模块化深度学习库Tensorflow 1.2+（可能也可以与...
vqa-paper.zip
04-17
1. **早期探索**：在20年前，VQA主要依赖于基于规则的方法和简单的图像特征提取。研究者尝试将图像内容转换为可理解的形式，然后与问题进行匹配，找出答案。这些方法通常受限于手工特征和有限的规则库。 2. **深度...
基于Python实现的文字标注工具(可以用来对VQA等任务数据集进行标注).zip
09-05
【资源说明】 基于Python实现的文字标注工具(可以用来对VQA等任务数据...3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可直接用于毕设、课设、作业等。 欢迎下载，沟通交流，互相学习，共同进步！
cs147_vqa：CS147的VQA项目
02-26
cs147_vqa CS147的VQA项目 该存储库旨在解决视觉问题解答任务。 当前功能仅限于多项选择题。 如何运行我们的模型： 使用图像预处理运行：如果这是您第一次运行我们的模型，则可能没有将图像提取为特征。 在这种情况下，您可能希望在使用ImageNet上预训练的VGG-19网络提取图像特征时训练模型。 确保配置了正确的文件路径，然后运行以下命令： ../data/annotations/mscoco_train2014_annotations.json ../data/questions/MultipleChoice_mscoco_train2014_questions.json cd code python ./vqa.py -i 无需图像预处理即可运行：如果这不是您第一次运行模型，并且您已经在名为“ weights_features”的文件夹中提取了图像特征，则可以
Python-基于Tensorflow的视觉问答系统VQA
08-11
基于Tensorflow的视觉问答系统VQA
vqa：视觉问答
02-16
VQA 视觉问答 运行代码 该模型基于在运行代码之前，请从下载相关的训练，验证和测试数据。下面的部分根据需要Resnet-18或CNN的结果告诉您要运行哪些脚本 有线电视新闻网 我们按照以下顺序运行脚本以获得最佳结果 image_preprocessing_CNN.py 这将从图像中提取特征 preprocess-QA.py 这从提出的问题中提取特征 train_models_cnn.py 这使用L2正则化训练了50个时期的模型0.0005 view-logs.py logs/<log> 打印出结果 ResNet-18 我们按照以下顺序运行脚本以获得最佳结果 image_preprocessing_resnet18.py 这将从图像中提取特征 preprocess-QA.py 这从提出的问题中提取特征 train_models.py 这使用L2正则化0.001训练了50个时
VQA任务学习记录1(附数据使用代码记录)
a645676的博客
06-02 2612
VQA任务的数据处理和代码学习
【文献阅读】早期的视觉问答VQA模型（B. Zhou等人，arXiv，2015，有代码）
QQ704630835的博客
08-16 964
一、文献概况 文章题目：《Simple Baseline for Visual Question Answering》 ArXiv上2015年12月的一篇文章，属于VQA的早期模型，最近刚开始看VQA，相关文章都会记录下来 文章下载地址：https://arxiv.org/pdf/1512.02167.pdf 文章引用格式：B. Zhou, Y. Tian, S. Sukhbaatar, ...
VQA-object_counting代码项目分析
snow_maple521的博客
11-12 1045
0. 写在前面 本文主要介绍《LEARNING TO COUNT OBJECTS IN NATURAL IMAGES FOR VISUAL QUESTION ANSWERING》的代码项目，也就是别人的代码加上自己的注释。。。 博客地址：https://blog.csdn.net/snow_maple521/article/details/109190431 论文地址：https://github.com/Cyanogenoid/vqa-counting 项目地址：https://openreview.n
PyTorch搭建RNN联合嵌入模型（LSTM GRU）实现视觉问答（VQA）实战（超详细 附数据集和源码）
showswoller的博客
11-24 1252
PyTorch搭建RNN联合嵌入模型（LSTM GRU）实现视觉问答（VQA）实战（超详细 附数据集和源码）
VQA机器视觉机器人
方同学的博客
02-24 305
NLP; Computer Vision; Commen-sence; 第一步生成答案，答案库 将机器视觉机器人整个问题简化 从“看到一个图就能回答所有问题”简化成，”从1000个最有可能的回答中找到最符合图片问题的答案“ 第二步处理输入源数据 图片处理，处理到flatten的时候停止； 文字处理：以一个句子为例：What are they playing? Rule-based:基于主题...
Easy-edit VQA复现记录
sev7777777的博客
02-20 309
Can We Edit Multimodal Large Language Models? 复现记录
captions VQA\
02-18
在Captions VQA任务中，模型需要具备对图像内容的理解能力，能够识别出图像中的对象、场景等信息，并能够根据问题的要求生成准确的描述。这需要模型具备对图像和自然语言的理解和生成能力，并能够将二者有效地结合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值