![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
VQA
文章平均质量分 90
Hoshino Ren
这个作者很懒,什么都没留下…
展开
-
『论文笔记』Introspective Distillation for Robust Question Answering
Introspective Distillation for Robust Question Answering一句话总结作者希望模型可以同时在ID和OOD场景下获得良好的表现,通过对专门捕捉ID和OOD偏置的两位老师模型进行知识融合(内省)并蒸馏出一个学生模型来完成这种平衡。导论Motivation:作者先是点出QA领域普遍存在利用spurious correlation的现象(即Bias现象),比如VQA利用问题与答案之间的linguistic correlation,extracti原创 2021-12-14 12:29:54 · 445 阅读 · 2 评论 -
『论文笔记』On the Value of Out-of-Distribution Testing: An Example of Goodhart‘s Law
本文点出了目前领域在使用VQA-CP评估时的三个主要问题,并用随机预测做实验打脸一众方法,提倡众人反思并合理利用VQA-CP进行评估。原创 2021-12-08 19:05:33 · 177 阅读 · 0 评论 -
『论文笔记』In Defense of Grid Features for Visual Question Answering
In Defense of Grid Features for Visual Question Answering一句话总结网格特征不仅准确度不输给区域特征,推理速度上又快出一个量级。导论本文主要探讨了在VQA等视觉语言任务中,使用什么类型的图像特征可以达到更好的效果。区域特征(Regions)还是网格特征(Grids)?在以VQA为代表的一系列视觉语言任务中,Bottom-Up注意力方法得到了广泛应用,并取得了优异的效果。这种方法将图像表示为一组基于Bounding box的区域特征,原创 2021-11-29 19:38:59 · 2517 阅读 · 0 评论 -
『VQA认知』如何理解Bias?
背景本篇是从认知角度针对VQA领域中Bias现象的一些思考,特此记录下来。VQA中的Bias一般指的是 语言偏置(Language Bias),它会使得模型在回答问题时依赖于问题与答案之间的表面相关性,忽视图像信息。一个比较经典的例子是,对于问题“图中的香蕉是什么颜色?”,尽管图中所给香蕉是尚未成熟的“绿色”,模型依旧会倾向于预测“黄色”。坏的偏置 好的上下文在论文CF-VQA中,作者是这样解读语言偏置(Language Bias)的。We argue that the language p原创 2021-10-30 19:20:33 · 1386 阅读 · 0 评论 -
『论文笔记』Roses are Red, Violets are Blue... But Should VQA expect Them To?
Roses are Red, Violets are Blue… But Should VQA expect Them To?一句话总结提出新的benchmark GQA-OOD,旨在划分高频及低频(OOD)样本并测量模型在不同条件(in-distribution、out-of-distribution)下的性能一点题外话本文的题目改编自英文中一首脍炙人口的打油诗:”Roses are red,violets are blue,sugar is sweet and so are you.“原创 2021-10-27 16:59:14 · 789 阅读 · 0 评论 -
『论文笔记』OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge
OK-VQA: A Visual Question Answering Benchmark Requiring External Knowledge一句话总结提出数据集OK-VQA,其中的问题均需要根据外部知识推理才能回答。导论Motivation:现有VQA数据集中的大多数问题不需要逻辑推理或者与外部知识的联系,仅仅是有关数量、视觉属性以及物体检测的简单问题。Contribution:本文提出一个 只包含需要外部知识回答的问题 的数据集OK-VQA(Outside Knowledg原创 2021-10-21 14:03:17 · 1418 阅读 · 0 评论 -
『论文笔记』Are VQA Systems RAD? Measuring Robustness to Augmented Data with Focused Interventions
Are VQA Systems RAD? Measuring Robustness to Augmented Data with Focused Interventions一句话总结本文提出一个基于反事实数据增强的用来评估鲁棒性的指标RAD,简而言之,就是把问题换种问法看模型还能回答正确吗。导论Motivation:目前为止,在分布变化的鲁棒性方面还没有提出任何度量方法measure。Contribution:本文提出一个可以将VQA模型对分布偏移的鲁棒性表示出来的基于一致性的度量方原创 2021-10-20 21:35:30 · 308 阅读 · 0 评论 -
『论文笔记』Semantic Equivalent Adversarial Data Augmentation for Visual Question Answering
Semantic Equivalent Adversarial Data Augmentation for Visual Question Answering一句话总结以维持语义正确性为前提,生成对抗样本进行VQA图像及文本的数据增强导论Motivation:近期工作表明VQA算法的性能一定程度上依赖于训练数据的数量,现存VQA算法能从更多的训练数据中受益,这意味着无需人工标注的数据增强是提升算法性能的一个好方向。现存的数据增强方法主要是通过Data warping和Oversampli原创 2021-03-26 14:03:23 · 377 阅读 · 3 评论