场景图生成论文阅读笔记 之 Unbiased Scene Graph Generation from Biased Training

2020 CVPR oral

《Unbiased Scene Graph Generation from Biased Training》

作者博文：https://mp.weixin.qq.com/s/wLsVyyhP9jjBoj1FMgy3xg

针对问题

由于VG数据的长尾效应，大部分SGG方法中网络更关注label信息，而没有很好的利用视觉信息，这就相当于仅根据label盲猜（Motif里的baseline）
导致的结果就是，具体的visual feature不再重要，也就预测不出真正有意义的finegrain的relationships了。因为更finegrain的relation出现太少，而且很容易错，所以干脆把所有复杂的sitting on/standing on/riding全预测成on。

本文创新

提出了反因果事实的推断方法causal inference（不是训练方法），其借鉴了因果推理的思想，使用Total Direct Effect（TDE）来取代单纯的网络log-likelihood，简单来说就是用 初始预测结果 减去 控制变量得到的预测结果(偏差) 得到 最终预测(无偏差预测)

本文中认为VG数据集的长尾效应会导致网络过于偏向label信息而忽视了视觉具体信息，因此认为 不输入视觉特征时得到的预测为偏差(bias)，使用初始的预测减去这个bias得到最终预测

SGG算法结构

SGG算法结构大多都可以概括为下图的结构：

其中u表示图像，x表示RoI feature(即目标特征,这里x表示目标对)，z表示目标label(由x预测得到)，这三者再结合用于预测关系谓词Y_x

Counterfactual
反事实推测

去除视觉特征输入，使用平均特征或者0特征代替视觉特征，依据label + image预测关系谓词，得到预测结果Y_x(—),z，被认为是bias

TDE结果：将上述两者相减即可

实验结果

可以看出长尾效应减弱了很多

可以看出添加了本文的方法后有很大的提升

其中Fusion表示在计算Y时X,Z,I三者的融合方式，作者提到了两种：

评价指标 作者使用的是VCTree中提出的mean Recall@K

实验细节

论文中使用了相当大的篇幅说明实验细节等等，这部分后续看完再补

写在最后：本文的思想其实很简单，但是目前看起来很有效啊，并且方法也很容易迁移到其他方法上