VQA研究方向总结——思维导图

最新推荐文章于 2024-12-01 11:40:23 发布
最新推荐文章于 2024-12-01 11:40:23 发布
阅读量949 收藏 14
点赞数 4
分类专栏： VQA 文章标签： 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40481602/article/details/125173260
版权

        从去年10月份开始陆陆续续地看了一些VQA方向的论文。入坑时看了一些综述，但是感觉当时看综述并没有什么体会，上个月又重新看了两篇综述，现在感觉对这个方向了解稍微加深了。

        两篇综述分别是：视觉问答研究综述和张含望老师团队的视觉问答与对话综述。个人感觉这两篇综述的参考意义挺大的，于是根据第二篇综述内容做了一个VQA研究方向的思维导图。但这篇综述只总结到2020年10月，因此我在梳理的过程中，把2021年CVPR、ICCV和2022年CVPR的相关论文也添加了进去（图中橙色字部分）。部分分支是自己添加的，不妥之处欢迎指出，欢

最低0.47元/天 解锁文章
VQA研究方法综述
qq_36643449的博客
03-03 2253
VQA的问题可以是任意的，它包含一系列CV的子问题：对象识别、目标检测、属性分类、场景分类、计数等。除此之外，还有空间关系、常识推理等。VQA的总体是从图像中提取与问题相关的语义信息，从细微物体的检测到抽象场景的推理。 【主流模型与方法】 基本流程： 提取图像特征：VGGNet、ResNet、GoogleNet 提取问题特征：LSTM、GRU 特征整合，输出答案：基于分类和生成两种方法 基于分类的基本框架： 不同做法的差异主要体现在如何整合图像和文本的特征。整合图像和文本特征的方法： 简单机制：con
视频质量评价与大模型——VQA2
最新发布
shyinnn的博客
01-12 1414
大型多模态模型（LMM）的出现和扩散为计算机视觉引入了新的范式，将各种任务转变为统一的视觉问答框架，视觉问答（VQA）可以显着增强低水平的视觉质量评估。前言：对于视频质量评价而言，基于LMM方法的探索还是处于一个比较初期的阶段，可能是因为有Q-AlLIGN这个珠玉在前，所以凭借着对图像质量的视觉感知就已经可以对视频质量进行准确的打分了，但是显然这种图像质量模型缺失了对视频时间信息和运动失真的表征，缺乏这一特征无疑是会影响准确率的，因此，本篇文章就建立了一个视频质量的指令微调数据集。
我的研究方向--思维导图
guaiwuguba的博客
10-05 443
系列文章目录 第一章 即将踏入的研究背景和领域 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 研究前提：工业检测领域，已知数据集ABC，训练相应的模型abc,。那么对于新来的数据集D该怎么训练呢？D很渺小，NG样本才有10多个，它该怎么训练出属于它的d呢？ 一、D的困扰 D是名副其实的小样本，深度学习很难容忍这样的存在。D该怎么办？..
关于VQA一种科研方向的小结及想法
QQ704630835的博客
12-19 2124
一、背景 从7月份进入课题组，开始了新的研究方向，即视觉问答VQA，前两个月毫无头绪，在补文本处理方面的知识。到8月底逐渐走到VQA这条路上。自己之前也没有做过文本方面的处理，所以开始上手VQA也是磕磕绊绊，经过半年的阅读文献积累，逐渐看清了一点VQA的趋势。便想把自己的一些想法写下来。 二、小结 这里我选择了近两年的5篇三大顶会的文献，除了一篇文章是2018年的，其他4篇全部是2019年的...
VQA2021年之后的方向启蒙：Human-Adversarial Visual Question Answering 论文笔记
乄洛尘
12-23 2886
这是一篇关于VQA数据集的拓展数据集文章，即提出了一种新的数据集Adversarial VQA（AdVQA），也就是对抗性的VQA数据集，该数据集专门收集了SOTA模型不能正确回答的问题，并得出现有VQA模型的能力仍然不足的结论，推荐2021年之后还在研究VQA方向的同学可以深挖。
【文献阅读】VQA能干啥？VQA相关现实应用和未来挑战（Silvio Barraa等人，ArXiv，2021）
QQ704630835的博客
03-12 4223
一、背景 文章题目：《Visual Question Answering: which investigated applications?》 文章下载地址：https://arxiv.org/pdf/2103.02937.pdf 文章引用格式：Silvio Barraa, Carmen Bisognib, Maria De Marsicoc, Stefano Ricciardi."Visual Question Answering: which investigated applications..
【文献阅读】VQA-E——一种对预测答案解释的模型和数据集（Q. Li等人，ECCV，2018）
AI_girl的博客
05-08 648
一、文章背景 文章题目《VQA-E: Explaining, Elaborating, and Enhancing Your Answers for Visual Questions》 文章下载地址：http://openaccess.thecvf.com/content_ECCV_2018/papers/Qing_Li_VQA-E_Explaining_Elaborating_ECCV_2018_paper.pdf、 二、文章导读 摘要部分： Most existing works in vi
UGC-VQA领域盲视频质量评估基准与VIDEVAL模型研究
12-31
内容概要：近年来，随着社交媒体平台的普及和个人拍摄设备的发展，用户生成的内容（UGC）视频呈爆发式...研究结果证明迁移学习在UGC-VQA任务中有巨大的潜力，同时强调了结合不同感知域统计量及视觉损伤特性的重要价值。
多模态论文导读--VQA视觉问答经典论文：（注意力机制）Where To Look: Focus Regions for Visual Question Answering
qq_15534667的博客
12-16 495
我们提出了一种通过选择与文本相关的图像区域来学习视觉问答的模型。我们的方法通过将文本的query与图像不同区域的视觉特征映射到同一个空间并通过内积来计算它们的相关性。我们的方法在视觉问答中类似"what color"这种需要定位到确切位置和"waht room"这种进行相关区域识别的问题上的表现提高很多。我们的模型在最近发布的VQA数据集（人类标注）上进行测试。视觉问答（VQA）任务是给定问题和图片来问答相关问题。VQA在语言表征、推理、识别、常识和阅读及查数这样的具体方向上还有很多挑战。
2017 VQA Challenge 第一名技术报告
Paper weekly
09-26 1218
作者丨罗若天 学校丨TTIC博士生 研究方向丨NLP，CV 1. 前言 之前听 Chris Manning 讲过一个 talk，说他们复现别人的 paper，按照别人的算法写，做到了比原本那篇 paper 高了 10 个点的结果。还有听认识的同学说，有一年因为算法的 performance 不够好论文被拒了，第二年重新回过去跑那个代码，随便调了调，
视觉问答（Visual_Question_Answering, VQA）介绍
ZauberC的博客
03-18 5510
VQA任务定义如下：给机器输入一张图片和一个跟这幅图片相关的问题，机器需要根据图片信息对问题进行回答。训练阶段，需要先在一个由图像，问题，答案组成的三元组集上训练一个模型。测试阶段，给该预训练模型输入一张新的图像和一个新的问题，要求模型能够预测正确的答案。设模型参数为，则该任务的目标为求取!对于open-Ended问题，机器的输出是自然语言（算法需要生成一个字符串来回答问题）。对于multi-choice问题，机器挑选出正确答案。
基于深度学习的VQA（视觉问答）技术
热门推荐
人工智能
06-08 1万+
深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！ 视觉问答导读 视觉问答（Visual Question Answering，VQA），是一种涉及计算机视觉和自然语言处理的学习任务。这一任务的定义如下： A VQA system takes as input an image and a free-form, open-ended, nat
survey： VQA
yestin_L的博客
04-20 818
VQA： Given an image and a question in natural language, it requires reasoning over visual elements of the image and general knowledge to infer the correct answer. 和Textual QA区别 图像维度更高，会引入更多的噪声 图像没有文化...
今天为大家介绍一下VQA是什么
xiehewe的博客
10-17 1677
视觉问答（Visual Question Answering，简称VQA）是一项令人兴奋的人工智能领域，它使计算机能够“看”图像并回答关于这些图像的问题。视觉问答（VQA）是一项令人兴奋的人工智能技术，它结合了计算机视觉和自然语言处理，使计算机能够“看”图像并回答问题。尽管存在挑战，但随着技术的不断发展，VQA将在未来继续发挥重要作用，改善我们的日常生活和工作方式。回答生成：通过深度学习模型，VQA系统将特征向量输入到神经网络中，该网络将生成与问题相关的自然语言回答。用户可以看到计算机对他们的问题的回应。
视觉问答（VQA）模型
百态老人的博客
12-01 1527
视觉问答（Visual Question Answering，VQA）模型是一种结合了计算机视觉和自然语言处理技术的人工智能任务，旨在通过理解图像内容并回答与之相关的自然语言问题。VQA模型需要同时处理图像和文本信息，生成准确的自然语言答案。VQA模型通常包括三个主要阶段：图像和问题特征提取、特征融合以及答案生成。在图像特征提取阶段，卷积神经网络（CNN）及其变体如VGGNet和ResNet被广泛使用；在问题特征提取阶段，词嵌入技术如LSTM、GRU和BERT等被用于捕捉问题的语义信息；
【VQA综述】Visual Question Answer：A Survey of Method and Datasets 学习笔记
kaka03200的博客
09-09 1789
视觉问答（VQA）是一项具有挑战性的工作，而且已经接收到来自计算机视觉和自然语言社区越来越多的注意。给定图像和自然语言问题，就需要对图像的视觉元素和常理进行推理得到正确的答案。在这个研究的第一部分，我们通过比较现代解决问题的技术来审视了艺术现状（？我们通过他们将视觉和文本联系起来的机制将方法进行了分类。特殊地，我们研究了使用卷积神经网络和循环神经网络将图片映射到特征空间的常用方法。我们还讨论了与结构化知识基础相关联的内存增强和模块化体系。在研究的第二部分，我们回顾了用于训练和评估VQA系统的数据集的可用性。
VQAScore：文本到视觉生成模型的评估工具，用于衡量模型生成图像、视频和 3D 模型的质量
士多啤梨先生の博客
11-07 1354
VQAScore 是 CMU 和 Meta 联合推出的一种评估文本到视觉图像生成质量的方法，基于视觉问答（VQA）模型，提供了自动化和更准确的评估方案。
深度学习中的VQA(视觉问答)技术
iflyBird@zhang的博客
05-19 4745
视觉问答（Visual Question Answering，VQA）是一个需要理解文本和视觉的新领域。由于深度学习技术显著地改善了自然语言处理和计算机视觉结果，我们可以合理地预期VQA将在未来几年变得越来越准确。视觉问答主要涉及图像文本俩种模态信息。 详细内容如下： VQA视觉问答 ...
VQA + GNN
圣托里尼的日落啊~的博客
12-30 1638
Graph-Structured Representations for Visual Question Answering(GraphVQA) Abstract 通过structured representations of both scene contents and questions提升VQA性能。 VQA的主要挑战在于对visual和text两个领域都需要理解。传统的模型中常常忽略场...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值