【场景图生成】Unbiased Scene Graph Generation from Biased Training

文章下载地址：https://arxiv.org/pdf/2002.11949.pdf

代码地址：GitHub - KaihuaTang/Scene-Graph-Benchmark.pytorch

发表地点：CVPR 2020

1 内容概述

现有的场景图生成方法因为training loss的存在，也就是数据集中关系分布存在长尾分布，存在关系检测并不准确的问题。

本文提出了一种基于TDE的因果推理的场景图生成方法，保留biased traing的过滤结果作用，同时去除图像内容上下文干扰带来的关系检测不准确这一副作用。

通过这样一种训练方式的改善，可以看见场景图生成效果的提升。

2 研究背景和创新点

背景：场景图生成任务本是为下游任务例如captioning，VQA提供一个全面的视觉场景表征。现有的方法往往会抛弃掉模糊的视觉关系，将所有的内容抽象成一张graph，图中具有稀疏的object分布以及一些binary的links.

问题：因为严重的training bias，现有的生成模型更像是一堆object词汇的堆积。