Learning Reasoning Mechanisms for Unbiased Question-based Counting论文笔记

写在前面

照例，本篇论文出自CVPR2021 VQA Workshop的第一篇论文。目前只有官网谷歌可以下载~
链接：Learning Reasoning Mechanisms for Unbiased Question-based Counting
文章不长，只有三页五个部分。But References就占了一页~~

一、引言

首先指出biases的好处，然后阐述其缺点：在real word有害。所以作者提出需要建立这样数据集，并且以计数问题举例，之后列举了TallyQa数据集中存在的bias。

最后介绍一下自己设计的两者计数数据集：
1、设计理念类似VQA-CP；
2、引入SCN，评估性能。

初判断应该和上篇：Point and Ask: Incorporating Pointing Into Visual Question Answering论文笔记 的写作手法差不多，描述数据集+模型+人类评估

二、Novel out-of-distribution datasets

1、TallyQA-CP

简言之：Tally-QA数据集训练集和测试集是用来评估模型依赖问题的情况。
注意：这个图是下一个数据集的示例。

2、TallyQA-Odd-Even

简言之：TallyQA-Odd-Even主要用来评估模型依赖问题+图像的情况。
与TallyQA主要区别：训练集大部分为偶数，测试集大部分为奇数。

确实佩服这个想法了，究极变态，需要模型做出咋样的努力啊？🐮

三、Spatial Counting Network

按照惯例：介绍一下模型组成，也就是上面这张图了。

令我想不到的是，这么短的文章竟然介绍了Loss，看一下有何神奇之处：
Loss:

果然，是有原因滴：引入了新的损失函数：L_H

效果确实可以啊！👍

四、Result

1、State-of-the-art models are biased

确实，“不吹不黑”，标题牛皮。

2、Spatial Counting Network

这一部分分析模型在测试集上标签的分布情况。注意一下，前文提到的训练集大多为偶数，测试集大多为奇数，所以这里出现了一些偶数。有意思的是，SCN在偶数计数精度高，奇数计数精度低。

总结

Over, 完结撒花。
总结下这篇文章：主要是引入了Tally-QA-odd & even数据集，以评估模型biases问题，采用SCN模型实测数据集，发现有效果。

总结起来就这么多，也没啥特殊之处的。