【CVPR2022】VizWiz-VQA Grounding Challenge冠军算法介绍--Aurora

置顶 已于 2022-08-07 16:21:38 修改
阅读量1.9k 收藏 10
点赞数 2
分类专栏： 日志 文章标签： 人工智能 计算机视觉 nlp
于 2022-08-07 16:18:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42569673/article/details/126192232
版权
CVPR2022 VizWiz-VQA Grounding 冠军方法DaVI
摘要由CSDN通过智能技术生成

一、简介

之前从没接触过多模态方向，这次和在字节的师兄一起参加了一个VQA相关的比赛，发现基于图像-文本的预训练是一个很火热的领域，比如BLIP，LAVT等。在此基础上，针对VQA Grounding任务不光需要回答问题、还需要进行视觉分割的特点设计了一种双流的视觉-语言交互方法，最终在CVPR2022的VizWiz VQA Grounding赛道取得了第一名的成绩，详细介绍链接如下：

Video：ByteDance&Tianjin University --- Aurora

论文链接： Tell Me the Evidence? Dual Visual-Linguistic Interaction for Answer Grounding

二、比赛介绍

「视觉问答」是通向多模人工智能的一项基础挑战。

一个自然的应用就是帮助视障人群克服他们日常生活中的视觉挑战，如视障群体通过手机镜头捕获视觉内容，再通过语言对镜头中

最低0.47元/天 解锁文章
Jack Lin
关注
  • 2
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
＜＜视觉问答＞＞2021：Found a Reason for me? Weakly-supervised Grounded Visual Question Answering using Capsu
金克丝的博客
12-19 866
目录 摘要 一、介绍 二、相关工作 三、方法 四、细节补充 五、数据集 六、实验结果 6.1. Comparison to baseline method 七、结论 摘要 grounding VQA任务是指VQA数据集不光有对问题的答案的标注，还有与问题直接相关的图像区域的标注，普通的数据集根据输入的图像和问题，得到预测的答案，预测值与真值做loss，带图像区域标注的VQA数据集，模型可以额外输出问题所注意到的预测的图像的区域，再与真值做loss，强迫模型去学习视...
图文融合模型(续) and VQA过往简述
weixin_42455006的博客
05-20 1213
一.ALBEF(对比学习用cosine对一个batch的样本做个交叉熵) 思考点1 图文对比学习可以用相似度吗，就CLIP和FLIP那样的，或者不是单纯交叉熵，可以用focal loss或者一些别的，比如说根据多模态贡献度来决定各个损失更新方向，【参考cvpr 2022 oral的一篇论文：多模态学习中的贡献不平衡问题】 本文是维护了两个队列来存储动量单模态编码器的最新的M个图像-文本表示 动态模型各个特征归一化，代替原本模型的特征计算概率分布 H是交叉熵函数，也可以看成InfoNCE，即负对数
CVPR 2024自动驾驶挑战赛Mapless Driving无图智驾赛道论文解读
最新发布
NEON7788的博客
06-24 497
CVPR 2024无图智驾赛道榜单前几名的模型框架基本一致。相比去年，也没有颠覆性的创新，主要改进在于以下几点：引入了SD Map作为信息输入，采用SMERF提出的框架将其融入到transformer encoding里；引入时序信息，预测提高远处的建图精度，提出采用streaming-stacking的方式；对Area Detection的编码方式，提出了一些改进，更好地适应Area这个instance的特性；链接。
＜＜视觉问答＞＞2021：Separating Skills and Concepts for Novel Visual Question Answering
金克丝的博客
12-21 959
目录 摘要： 一、介绍 二、相关工作 三、Skill-Concept Composition in VQA 四、方法 4.1. Concept Grounding 4.2. Skill Matching 4.3. Training Procedure 五、实验 5.1. Novel Skill-Concept Composition VQA 5.2. Novel-Concept VQA 5.3. Analysis 六、结论 摘要： 对数据分布...
Grounding Answers for Visual Questions Asked by Visually Impaired People
Eddy_zheng的博客
11-27 124
这篇论文的标题是“Grounding Answers for Visual Questions Asked by Visually Impaired People”，作者是Chongyan Chen, Samreen Anjum, 和 Danna Gurari。论文的重点是在视觉问答（VQA）的领域内，引入了一个新的数据集：VizWiz-VQA-Grounding，这是第一个针对视障人士提出的视觉问题，并在视觉上定位答案的数据集。
【HDU6172】Array Challenge（BM算法）（线性递推）
zxyoi_dreamer的博客（不定期诈尸）
08-09 285
传送门 猜想有线性递推式，然后直接用BM算法切掉了。 代码： #include<bits/stdc++.h> #define ll long long #define re register #define cs const cs int mod=1e9+7; inline int add(int a,int b){return (a+=b)>=mod?a-mod:a;}...
CVPR-2020-2021-Image-Segmentation-and-detection-challenge
03-30
CVPR-2020-2021 卫星地球图像分段与检测挑战。 让我们分割卫星地球图像。 这是由CVPR 2020和2021发布的公开比赛]农业视觉数据集，获奖挑战赛和研讨会： 与许多伟大的合作者共同努力，将农业和计算机视觉/人工智能...
CVPR 2022 Tutorial Denoising Diffusion-based Generative Model
11-11
在本次CVPR 2022的教程中，专家们将详细介绍去噪扩散模型的基础理论以及它们在不同领域的实际应用，帮助参与者深入理解这一前沿技术，为未来的科研和实践提供有力支持。讲座涵盖了从基础概念到最新进展，旨在推动...
CVPR-CPN-COCO姿态估计冠军解决方案.docx
10-26
CVPR-CPN-COCO姿态估计冠军解决方案.docx
（免费下载）CVPR 2022 Oral - TCFormer论文翻译（word版）
10-24
随后，通过聚类token合并（CTM）模块，使用基于密度峰的k-近邻聚类算法对token进行分组，将具有相似语义的token合并为一个更大型的token。这个过程在多个阶段进行，每个阶段会产生不同数量和规模的token。聚类后的...
CVPR-2020-point-cloud-analysis:专注于点云分析的CVPR 2020论文
05-28
CVPR-2020点云分析专注于点云分析的CVPR 2020论文[][][][] segmention [] segmention classification [] compression oral completion [代码] 基于图像的3D对象检测的端到端伪LiDAR [代码] 点网络segmentation 更...
CVPR 2024 Workshop | 首届短视频质量评价学术竞赛已启动+大型数据集KVQ
我爱计算机视觉
02-21 706
关注公众号，发现CV技术之美CVPR NTIRE Workshop是计算机视觉领域极具影响力的国际学术研讨会之一，通常涵盖增强、修复、质量评价等底层视觉比赛内容，对于视觉信号处理领域的发展发挥着重要的作用。为推动短视频领域的发展，建立短视频的质量评价标杆，智能媒体计算实验室（中国科学技术大学）联合快手音视频技术部（快手科技有限公司）在第九届NTIRE研讨会 (即CVPR NTIRE 2024)上举...
【探索多模态视觉问答】数据集概览及特点分析
weixin_45921929的博客
03-25 1736
在计算机视觉和自然语言处理领域，视觉问答（VQA）是一个重要的任务，旨在让计算机理解图像内容并回答关于图像的问题。为了促进和评估多模态模型在视觉问答任务上的表现，研究人员构建了多个丰富的数据集。本文将介绍几个主要的视觉问答数据集，包括VQA v2.0、VizWiz-VQA、GQA、POPE、MM-VET、MME、MMBench和SEED-Bench。我们将分析这些数据集的特点、构建方式以及在评估多模态模型方面的作用，旨在为研究人员提供对多模态视觉问答数据集的全面认识。
2023CVPR_IQA/VQA论文阅读
qq_42351942的博客
06-06 1251
今年的CVPR论文多关注无参考图像情况下，更具实际应用价值的图像、视频质量评价工作。总的来讲，重点基本都是——人眼视觉系统下同时考虑内容和失真的相互作用及其对最终质量感知的影响。而且不得不说，利用无监督手段解决问题的策略显然越来越受欢迎，回归本质，出发点都是针对真实情况下，多种失真同时作用在一张图像上，从而与人眼视觉质量感知直接相关。因此，可以从两方面解决问题：一方面，对于有标签的训练，就要加大可训练数据量，构建更大规模的数据集，从而提升监督学习下模型的鲁棒性能；
MOT Challenge评价算法代码运行
weixin_43688482的博客
03-21 1759
MOT Challenge 评价代码运行前言一、评价算法代码二、修改步骤1.下载评价代码，解压2.存放自己的跟踪结果文件3.运行程序总结 前言 之前收到私信说不知道MOT Challenge的评价算法怎么修改运行，这里将以MOT17为例，讲解如何将提供的代码修改成自己想要的数据集，并运行自己的跟踪结果 一、评价算法代码 这里附上本人已经修改好的代码链接：MOTChallenge评价代码 这里的评价代码是本人在2019年下载的，最新的评价算法有所变动，但本人尝试了MATLAB版本的，发现代码有BUG，如果
VQA论文2021CVPR
sinat_40324410的博客
07-10 1374
Perception Matters: Detecting Perception Failures of VQA Models Using Metamorphic Testing 2021CVPR论文链接 论文概述 高水平的推理一般需要执行多个感知子任务。对于VQA，仅仅使用准确率衡量模型的好坏，无法详细指出错误是来自于低水平的感知问题还是高水平的推理。本文引入MetaVQA，将图像和问题分别转换成子问题和子图像，衡量VQA模型的感知能力。 方法 Question-Oriented MRs: 使用细粒度的
【文献阅读】视觉问答VQA中的一些技巧（D. Teney等人，CVPR，2018）
QQ704630835的博客
08-10 873
一、文献概况 文章题目：《Tips and Tricks for Visual Question Answering: Learnings from the 2017 Challenge》 注意到这篇文章是因为在2017 VQA Challenge冠军方案中作者引用到了这篇文章中的一些处理技巧，也就是《Bottom-up and top-down attention for image cap...
CVPR2020-VQA系列文章解读
Mei_七的博客
09-08 688
Towards Causal VQA: Revealing and Reducing Spurious Correlations by Invariant and Covariant Semantic 原文：https://arxiv.org/pdf/1912.07538.pdf code：https://github.com/AgarwalVedika/CausalVQA 解读：尽管视觉问答（VQA）取得了巨大的成功，但VQA模型已经被证明对问题中的语言变化非常脆弱。由于模型和数据集的缺陷，目前的模
toward fast, flexible, and robust low-light image enhancement(cvpr2022)代码
01-24
"toward fast, flexible, and robust low-light image enhancement (cvpr2022)"是一种针对低光照图像增强的代码。该代码旨在通过快速、灵活和强大的方法，提高低光照条件下图像的质量。 这个代码的特点之一是它的快速性。它能够快速地处理低光照条件下的图像，使图像质量得到改善。与传统的图像增强方法相比，这个代码能够更有效地提高图像的亮度和对比度。 另一个特点是它的灵活性。这个代码具有灵活的参数设置和多种处理选项，可以根据不同场景和需求对图像进行定制化处理。用户可以根据自己的需求调整参数，以达到最佳的图像增强效果。 此外，这个代码还具有强大的性能。它能够处理各种类型的低光照图像，包括室内和室外环境下的图像，并能够有效地提高图像的质量和清晰度。 总的来说，“toward fast, flexible, and robust low-light image enhancement (cvpr2022)”代码是一种高效的低光照图像增强工具，它的快速、灵活和强大的特性使其成为处理低光照图像的理想选择。无论是在科学研究、工程应用还是日常生活中，这个代码都能够有效地提高低光条件下图像的质量，满足用户的各种需求。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值