论文笔记 | Counterfactual Samples Synthesizing for Robust VQA

最新推荐文章于 2022-12-02 03:35:22 发布
最新推荐文章于 2022-12-02 03:35:22 发布
阅读量826 收藏
点赞数
文章标签： 人工智能 机器学习 深度学习 算法 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/107724056
版权
论文提出了一种模型无关的反事实样本合成（CSS）方法，用于增强VQA模型的视觉解释性和对问题变化的敏感性。通过动态答案分配机制，CSS在不需要人工注释的情况下合成反事实样本，提高了模型在不同QA分布下的泛化能力。在VQA-CP v2测试集上，实验显示CSS能显著提升多个VQA模型的性能。
摘要由CSDN通过智能技术生成

论文笔记整理：窦春柳，天津大学硕士。


来源：CVPR 2020

链接：

https://openaccess.thecvf.com/content_CVPR_2020/papers/Chen_Counterfactual_Samples_Synthesizing_for_Robust_Visual_Question_Answering_CVPR_2020_paper.pdf


动机

当今的VQA模型倾向于捕获训练集中的表层语言相关性，而不能推广到具有不同QA分布的测试集中。为了减少语言偏见，最近的一些工作引入了一个辅助的仅问题模型，以规范化目标VQA模型的训练，并在VQA-CP上实现主导性能。但是，由于设计的复杂性，当前的方法无法为基于集成模型的模型配备理想VQA模型的两个必不可少的特征：1）视觉可解释的：模型在做出决策时应依赖正确的视觉区域。2）对问题敏感：该模型应对所讨论的语言变化敏感。为此，本文提出了一种与模型无关的反事实样本合成（CSS）训练方案。


亮点

作者提出了与模型无关的反事实样本合成（CSS）训练方案，可以有效提高模型的视觉可解释性和问题敏感度。为避免昂贵的人工注释，设计了一种动态答案分配机制，以近似所有合成VQ对的真实答案。

概念及模型

目前将VQA任务是当做一个多类别的分类任务，不失一般性，给定一个数据集，三元组，图片,问题和答案

最低0.47元/天 解锁文章
开放知识图谱
关注
cfvqa：“反事实VQA：因果看待语言偏向”的Pytorch实施，CVPR 2021
03-03
反事实VQA（CF-VQA） 该存储库是CVPR 2021中我们的论文的Pytorch实现。该代码将很快发布。 引文 如果您发现该项目对您的研究有所帮助，请考虑在您的出版物中引用我们的论文。 @inproceedings{niu2020...
CVPR 2021 《Domain-robust VQA with diverse datasets and methods but no target labels》论文笔记
lch的博客
06-17 675
目录简介动机方法实验 简介 论文链接 动机 由于cv中的方法通常会过拟合数据集，所以很多学者尝试让这些方法对“域变化”鲁棒。但是，这些domain adaptation方法并不适用于VQA任务，主要由于三个原因： VQA任务的输入是多模态的； VQA方法由不同的模块构成了多个步骤，导致优化复杂； 不同的VQA数据集的answer space是不同的。 为了应对上述问题，作者主要做了以下三个方面的工作： 量化不同VQA数据集之间的domain shift，并在image和question domain
Counterfactual VQA: A Cause-Effect Look at Language Bias
MTandHJ的博客
04-09 1338
文章目录概主要内容实现代码 [Niu Y., Tang K., Zhang H., Lu Z., Hua X. and Wen J. Counterfactual VQA: A Cause-Effect Look at Language Bias. CVPR, 2021.] 概 利用因果分析消除VQA(Visual Question Answering (VQA))中的language bias. 主要内容 如上图所示, QQQ: question; VVV: image; KKK: multi-mo
论文浅尝 - IJCAI2022 | 基于自适应虚词增强的小样本逆关系分类
开放知识图谱
05-09 373
论文作者：窦春柳，天津大学，研究方向：知识图谱论文链接：http://arxiv.org/abs/2204.12111代码地址：https://github.com/DOU123321/FAEA-FSRC摘要小样本关系分类（Few-shot Relations Classification, FSRC）旨在仅有少量样本下识别给定文本中两个实体间的语义关系。逆关系在小样...
Learning to Contrast the Counterfactual Samples for Robust Visual Question Answering
weixin_45347379的博客
01-04 560
学习对比反事实样本，以实现稳健的视觉问答 Learning to Contrast the Counterfactual Samples for Robust Visual Question Answering 在阅读本文之前，一定要阅读论文：Counterfactual Samples Synthesizing for Robust Visual Question Answering（简称CSS） 方法 文章的方法主要包括三个部分：（1）一个基本的VQA模型。（2）一个事实和反事实样本合成（CSS）模块
论文浅尝 | 从树结构的长短期记忆网络改进语义表示
开放知识图谱
01-19 744
论文笔记整理：窦春柳，天津大学硕士，方向：自然语言处理链接：https://arxiv.org/pdf/1503.00075.pdf动机由于长短期记忆网络（LSTM）这种具有复杂单元的循...
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
02-08
本文探讨了在竞争性多智能体深度强化学习环境中引入反事实思维（Counterfactual Thinking）以提升智能体决策能力的新方法。反事实思维是一个心理现象，指的是人们对于已经发生事情的不同解决方案重新推断可能结果的...
Probabilistic direct counterfactual quantum communication
02-10
由于提供的【部分内容】实际上是关于期刊《Chinese Physics B》的订阅信息，与标题《Probabilistic direct counterfactual quantum communication》描述的内容不符，因此无法直接从这部分内容中提取与标题相关的知识...
Private database queries based on counterfactual quantum key distribution
02-21
we propose a protocol to achieve quantum private database queries, which is a theoretical study of how counterfactuality can be employed beyond counterfactual quantum key distribution (QKD)....
Counterfactual-Explanation-Based-on-Gradual-Construction-for-Deep-Networks:基于渐进式构造的深层网络Pytorch的反事实解释
04-07
基于渐进式构造的深度网络的反事实解释 :star: 在GitHub上为我们加注星标-有帮助！ PyTorch实现安装您将需要一台装有GPU和CUDA的计算机。 然后，您准备运行时环境： pip install -r requirements.txt 如果收到错误...
论文浅尝 - ACL2020 | 一种用于关系三元组提取的级联二进制标记框架
开放知识图谱
11-04 761
论文笔记整理：窦春柳，天津大学硕士。链接：https://arxiv.org/pdf/1909.03227.pdf动机 首先作者提出了问题，传统的关系抽取是不能很好的解决三元组重...
2019年VQA论文整理
bxg1065283526的博客
03-06 4322
1、Attention 目前大部分工作都存在使用Attention机制，使用Attention主要是找到图片中与答案的相关的图片区域。 (1)Stacked Attention Networks for Image Question Answering ...
今天19:30 | NIPS 2022 预讲-基于随机素描的无监督泛化误差分析
AITIME_HY的博客
10-10 381
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！哔哩哔哩直播通道扫码关注AI TIME哔哩哔哩官方账号预约直播2022年10月10日 19:30-20:30讲者简介刘勇：中国人民大学，准聘副教授、博士生导师。博士毕业于天津大学。从事机器学习研究，特别关注大规模机器学习、自动机器学习、统计机器学习理论、图表示学习、Graph Transformer等。在顶级期刊和会议上发表论文40余篇，其...
论文小综 | Using External Knowledge on VQA
开放知识图谱
10-18 1035
本文转载自公众号：浙大KG。本文作者：陈卓，浙江大学在读博士，主要研究方向为图神经网络和知识图谱表示学习我们生活在一个多模态的世界中。视觉的捕捉与理解，知识的学习与感知，语言的交流与表达...
Towards Robust Visual Question Answering: Making the Most of BiasedSamples via Contrastive Learning
pinkshell_1314的博客
12-02 643
走向鲁棒的视觉问题回答: 通过对比学习，最大限度地利用有偏样本
Counterfactual Samples Synthesizing for Robust Visual Question Answering相关知识和理解
weixin_45347379的博客
11-09 585
首先是生成对抗网络GAN，然后关于减轻语言偏见的方法有：1）基于对抗的，2）基于融合的，最后是关于CSS（反事实的） 生成对抗网络GAN 首先生成对抗网络的想法是：生成网络G尽量生成真实的图片去欺骗辨别网络D，辨别网络D尽量辨别出G生成的假图像和真实图像，二者对抗进行，提高模型性能。其缺点在于：1）不适合文本的离散数据，2）不容易找到对抗后的平衡点，3）训练过程不稳定。 基于嵌入的减少语言偏见的方法： 基于对抗的方法去减轻语言偏见的方法是，用仅问题模型和普通VQA模型对抗，在训练VQA模型的时候同时训练仅问
【论文小综】基于外部知识的VQA（视觉问答）
二十四桥明月夜的博客
07-15 2572
我们生活在一个多模态的世界中。视觉的捕捉与理解，知识的学习与感知，语言的交流与表达，诸多方面的信息促进着我们对于世界的认知。作为多模态领域的一个典型场景，VQA旨在结合视觉的信息来回答所提出的问题。从15年首次被提出[1]至今，其涉及的方法从最开始的联合编码，到双线性融合，注意力机制，组合模型，场景图，再到引入外部知识，进行知识推理，以及使用图网络，多模态预训练语言模型…近年来发展迅速。 传统的VQA仅凭借视觉与语言信息的组合来回答问题，而近年来许多研究者开始探索外部信息对于解决VQA任务的重要性。 .
Counterfactual Samples Synthesizing for Robust Visual Question Answering阅读笔记
untitled_的博客
09-14 763
当今的VQA模型倾向于捕获训练集中的表层语言相关性，而不能推广到具有不同QA分布的测试集中。为了减少语言偏见，最近的一些工作引入了一个辅助的仅问题模型，以规范化目标VQA模型的训练，并在VQA-CP上实现主导性能。但是，由于设计的复杂性，当前的方法无法为基于集成模型的模型配备理想VQA模型的两个必不可少的特征：1）视觉可解释性：模型在做出决策时应依赖正确的视觉区域。2）问题敏感性：该模型应对所讨论的语言变化敏感。为此，本文提出了一种与模型无关的反事实样本合成（CSS）训练方案。 文章链接:CSS 一、文章引
基于深度学习的VQA（视觉问答）技术
热门推荐
人工智能
06-08 1万+
深度学习大讲堂致力于推送人工智能，深度学习方面的最新技术，产品以及活动。请关注我们的知乎专栏！ 视觉问答导读 视觉问答（Visual Question Answering，VQA），是一种涉及计算机视觉和自然语言处理的学习任务。这一任务的定义如下： A VQA system takes as input an image and a free-form, open-ended, nat
Counterfactual Samples Synthesizing for Robust Visual Question Answering的主要方法
最新发布
06-11
Counterfactual Samples Synthesizing for Robust Visual Question Answering 的主要方法是通过生成反事实样本来提高视觉问答模型的鲁棒性。具体来说，该方法通过对输入图像进行随机扰动，生成一些与原始图像类似但含有不同特征的反事实图像，然后将这些反事实图像与原始图像一起作为训练数据输入模型进行训练。通过这种方法，模型可以学习到哪些特征对分类器决策的影响最大，从而提高其鲁棒性。此外，该方法还使用了一种基于注意力机制的方法来选择生成反事实图像时应该扰动哪些特征，从而提高了反事实图像的多样性和有效性。通过这种方法，Counterfactual Samples Synthesizing for Robust Visual Question Answering 能够提高视觉问答模型的鲁棒性，使其在更广泛的环境和场景下表现更好。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值