Learning Reasoning Mechanisms for Unbiased Question-based Counting论文笔记
写在前面
照例,本篇论文出自CVPR2021 VQA Workshop的第一篇论文。目前只有官网谷歌可以下载~
链接:Learning Reasoning Mechanisms for Unbiased Question-based Counting
文章不长,只有三页五个部分。But References就占了一页~~
一、引言
首先指出biases的好处,然后阐述其缺点:在real word有害。所以作者提出需要建立这样数据集,并且以计数问题举例,之后列举了TallyQa数据集中存在的bias。
最后介绍一下自己设计的两者计数数据集:
1、设计理念类似VQA-CP;
2、引入SCN,评估性能。
初判断应该和上篇:Point and Ask: Incorporating Pointing Into Visual Question Answering论文笔记 的写作手法差不多,描述数据集+模型+人类评估
二、Novel out-of-distribution datasets
1、TallyQA-CP
简言之:Tally-QA数据集训练集和测试集是用来评估模型依赖问题的情况。
注意:这个图是下一个数据集的示例。
2、TallyQA-Odd-Even
简言之:TallyQA-Odd-Even主要用来评估模型依赖问题+图像的情况。
与TallyQA主要区别:训练集大部分为偶数,测试集大部分为奇数。
确实佩服这个想法了,究极变态,需要模型做出咋样的努力啊?🐮
三、Spatial Counting Network
按照惯例:介绍一下模型组成,也就是上面这张图了。
令我想不到的是,这么短的文章竟然介绍了Loss,看一下有何神奇之处:
Loss:
果然,是有原因滴:引入了新的损失函数:LH
效果确实可以啊!👍
四、Result
1、State-of-the-art models are biased
确实,“不吹不黑”,标题牛皮。
2、Spatial Counting Network
这一部分分析模型在测试集上标签的分布情况。注意一下,前文提到的训练集大多为偶数,测试集大多为奇数,所以这里出现了一些偶数。有意思的是,SCN在偶数计数精度高,奇数计数精度低。
总结
Over, 完结撒花。
总结下这篇文章:主要是引入了Tally-QA-odd & even数据集,以评估模型biases问题,采用SCN模型实测数据集,发现有效果。
总结起来就这么多,也没啥特殊之处的。