论文笔记 | Counterfactual Samples Synthesizing for Robust VQA

最新推荐文章于 2024-06-09 13:38:06 发布
最新推荐文章于 2024-06-09 13:38:06 发布
阅读量779 收藏
点赞数
文章标签： 人工智能 机器学习 深度学习 算法 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/TgqDT3gGaMdkHasLZv/article/details/107724056
版权

论文笔记整理：窦春柳，天津大学硕士。


来源：CVPR 2020

链接：

https://openaccess.thecvf.com/content_CVPR_2020/papers/Chen_Counterfactual_Samples_Synthesizing_for_Robust_Visual_Question_Answering_CVPR_2020_paper.pdf


动机

当今的VQA模型倾向于捕获训练集中的表层语言相关性，而不能推广到具有不同QA分布的测试集中。为了减少语言偏见，最近的一些工作引入了一个辅助的仅问题模型，以规范化目标VQA模型的训练，并在VQA-CP上实现主导性能。但是，由于设计的复杂性，当前的方法无法为基于集成模型的模型配备理想VQA模型的两个必不可少的特征：1）视觉可解释的：模型在做出决策时应依赖正确的视觉区域。2）对问题敏感：该模型应对所讨论的语言变化敏感。为此，本文提出了一种与模型无关的反事实样本合成（CSS）训练方案。


亮点

作者提出了与模型无关的反事实样本合成（CSS）训练方案，可以有效提高模型的视觉可解释性和问题敏感度。为避免昂贵的人工注释，设计了一种动态答案分配机制，以近似所有合成VQ对的真实答案。

概念及模型

目前将VQA任务是当做一个多类别的分类任务，不失一般性，给定一个数据集，三元组，图片,问题和答案,VQA任务学习映射,对于给定的图片-问题对给出答案分布。

本文提出的是一个通用的方法ÿ

最低0.47元/天 解锁文章
开放知识图谱
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【鲁棒VQA】Digging out Discrimination Information from Generated Samples for Robust VQA
nbwjszd的博客
12-20 902
原文标题： Digging out Discrimination Information from Generated Samples for Robust Visual Question Answering 原文代码： https://github.com/Zhiquan-Wen/DDG 发布年度： 2023 发布期刊： ACLVisual Question Answering (VQA) aims to answer a textual question based on a given image.
论文浅尝 | 从树结构的长短期记忆网络改进语义表示
开放知识图谱
01-19 716
论文笔记整理：窦春柳，天津大学硕士，方向：自然语言处理链接：https://arxiv.org/pdf/1503.00075.pdf动机由于长短期记忆网络（LSTM）这种具有复杂单元的循...
Probabilistic direct counterfactual quantum communication
02-10
Probabilistic direct counterfactual quantum communication
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
02-08
Competitive Multi-Agent Deep Reinforcement Learning with Counterfactual Thinking
cfvqa：“反事实VQA：因果看待语言偏向”的Pytorch实施，CVPR 2021
03-03
反事实VQA（CF-VQA） 该存储库是CVPR 2021中我们的论文的Pytorch实现。该代码将很快发布。 引文 如果您发现该项目对您的研究有所帮助，请考虑在您的出版物中引用我们的论文。 @inproceedings{niu2020counterfactual, title={Counterfactual VQA: A Cause-Effect Look at Language Bias}, author={Niu, Yulei and Tang, Kaihua and Zhang, Hanwang and Lu, Zhiwu and Hua, Xian-Sheng and Wen, Ji-Rong}, booktitle={Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Rec
论文浅尝 - IJCAI2022 | 基于自适应虚词增强的小样本逆关系分类
开放知识图谱
05-09 346
论文作者：窦春柳，天津大学，研究方向：知识图谱论文链接：http://arxiv.org/abs/2204.12111代码地址：https://github.com/DOU123321/FAEA-FSRC摘要小样本关系分类（Few-shot Relations Classification, FSRC）旨在仅有少量样本下识别给定文本中两个实体间的语义关系。逆关系在小样...
CVPR 2021 《Domain-robust VQA with diverse datasets and methods but no target labels》论文笔记
lch的博客
06-17 642
目录简介动机方法实验 简介 论文链接 动机 由于cv中的方法通常会过拟合数据集，所以很多学者尝试让这些方法对“域变化”鲁棒。但是，这些domain adaptation方法并不适用于VQA任务，主要由于三个原因： VQA任务的输入是多模态的； VQA方法由不同的模块构成了多个步骤，导致优化复杂； 不同的VQA数据集的answer space是不同的。 为了应对上述问题，作者主要做了以下三个方面的工作： 量化不同VQA数据集之间的domain shift，并在image和question domain
Counterfactual VQA: A Cause-Effect Look at Language Bias
MTandHJ的博客
04-09 1281
文章目录概主要内容实现代码 [Niu Y., Tang K., Zhang H., Lu Z., Hua X. and Wen J. Counterfactual VQA: A Cause-Effect Look at Language Bias. CVPR, 2021.] 概 利用因果分析消除VQA(Visual Question Answering (VQA))中的language bias. 主要内容 如上图所示, QQQ: question; VVV: image; KKK: multi-mo
Learning to Contrast the Counterfactual Samples for Robust Visual Question Answering
weixin_45347379的博客
01-04 508
学习对比反事实样本，以实现稳健的视觉问答 Learning to Contrast the Counterfactual Samples for Robust Visual Question Answering 在阅读本文之前，一定要阅读论文：Counterfactual Samples Synthesizing for Robust Visual Question Answering（简称CSS） 方法 文章的方法主要包括三个部分：（1）一个基本的VQA模型。（2）一个事实和反事实样本合成（CSS）模块
论文浅尝 - ACL2020 | 一种用于关系三元组提取的级联二进制标记框架
开放知识图谱
11-04 729
论文笔记整理：窦春柳，天津大学硕士。链接：https://arxiv.org/pdf/1909.03227.pdf动机 首先作者提出了问题，传统的关系抽取是不能很好的解决三元组重...
Counterfactual Samples Synthesizing for Robust Visual Question Answering阅读笔记
untitled_的博客
09-14 695
当今的VQA模型倾向于捕获训练集中的表层语言相关性，而不能推广到具有不同QA分布的测试集中。为了减少语言偏见，最近的一些工作引入了一个辅助的仅问题模型，以规范化目标VQA模型的训练，并在VQA-CP上实现主导性能。但是，由于设计的复杂性，当前的方法无法为基于集成模型的模型配备理想VQA模型的两个必不可少的特征：1）视觉可解释性：模型在做出决策时应依赖正确的视觉区域。2）问题敏感性：该模型应对所讨论的语言变化敏感。为此，本文提出了一种与模型无关的反事实样本合成（CSS）训练方案。 文章链接:CSS 一、文章引
Private database queries based on counterfactual quantum key distribution
02-21
we propose a protocol to achieve quantum private database queries, which is a theoretical study of how counterfactuality can be employed beyond counterfactual quantum key distribution (QKD)....
Counterfactual-Explanation-Based-on-Gradual-Construction-for-Deep-Networks:基于渐进式构造的深层网络Pytorch的反事实解释
04-07
基于渐进式构造的深度网络的反事实解释 :star: 在GitHub上为我们加注星标-有帮助！ PyTorch实现安装您将需要一台装有GPU和CUDA的计算机。 然后，您准备运行时环境： pip install -r requirements.txt 如果收到错误...
【文献阅读】具有循环一致性的鲁棒VQA与数据集VQA-Rephrasings（M. Shah等人，CVPR，2019）
QQ704630835的博客
09-03 1048
一、文章概况 文章题目：《Cycle-Consistency for Robust Visual Question Answering》 这篇文章和前面介绍的MirrorGAN几乎是同一个idea，作者主要来自facebook，找到了第三和第四作者的个人主页，其中Marcus Rohrbach一直在做VQA，可以关注下，但是他的个人主页已经很久没有更新了： [1]Marcus Rohrba...
Counterfactual Samples Synthesizing for Robust Visual Question Answering相关知识和理解
weixin_45347379的博客
11-09 523
首先是生成对抗网络GAN，然后关于减轻语言偏见的方法有：1）基于对抗的，2）基于融合的，最后是关于CSS（反事实的） 生成对抗网络GAN 首先生成对抗网络的想法是：生成网络G尽量生成真实的图片去欺骗辨别网络D，辨别网络D尽量辨别出G生成的假图像和真实图像，二者对抗进行，提高模型性能。其缺点在于：1）不适合文本的离散数据，2）不容易找到对抗后的平衡点，3）训练过程不稳定。 基于嵌入的减少语言偏见的方法： 基于对抗的方法去减轻语言偏见的方法是，用仅问题模型和普通VQA模型对抗，在训练VQA模型的时候同时训练仅问
视觉问答阶段性总结
weixin_45347379的博客
10-13 7591
GQA: A New Dataset for Real-World Visual Reasoning and Compositional Question Answering VQA with no questions-answers training Answer Them All! Toward Universal Visual Question Answering Models 对抗神经网络（GAN） 自顶向下的Bottom-Up and Top-Down Attention for Image Ca
2019年VQA论文整理
bxg1065283526的博客
03-06 4249
1、Attention 目前大部分工作都存在使用Attention机制，使用Attention主要是找到图片中与答案的相关的图片区域。 (1)Stacked Attention Networks for Image Question Answering ...
今天19:30 | NIPS 2022 预讲-基于随机素描的无监督泛化误差分析
AITIME_HY的博客
10-10 361
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！哔哩哔哩直播通道扫码关注AI TIME哔哩哔哩官方账号预约直播2022年10月10日 19:30-20:30讲者简介刘勇：中国人民大学，准聘副教授、博士生导师。博士毕业于天津大学。从事机器学习研究，特别关注大规模机器学习、自动机器学习、统计机器学习理论、图表示学习、Graph Transformer等。在顶级期刊和会议上发表论文40余篇，其...
Recognize Anything: A Strong Image Tagging Model（RAM模型使用方法）
最新发布
python_plus的博客
06-09 1048
详细介绍了RAM模型的使用方法
Counterfactual Samples Synthesizing for Robust Visual Question Answering的主要方法
06-11
Counterfactual Samples Synthesizing for Robust Visual Question Answering 的主要方法是通过生成反事实样本来提高视觉问答模型的鲁棒性。具体来说，该方法通过对输入图像进行随机扰动，生成一些与原始图像类似但...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值