文章下载地址:https://arxiv.org/pdf/2002.11949.pdf
代码地址:GitHub - KaihuaTang/Scene-Graph-Benchmark.pytorch
发表地点:CVPR 2020
1 内容概述
现有的场景图生成方法因为training loss的存在,也就是数据集中关系分布存在长尾分布,存在关系检测并不准确的问题。
本文提出了一种基于TDE的因果推理的场景图生成方法,保留biased traing的过滤结果作用,同时去除图像内容上下文干扰带来的关系检测不准确这一副作用。
通过这样一种训练方式的改善,可以看见场景图生成效果的提升。
2 研究背景和创新点
背景:场景图生成任务本是为下游任务例如captioning,VQA提供一个全面的视觉场景表征。现有的方法往往会抛弃掉模糊的视觉关系,将所有的内容抽象成一张graph,图中具有稀疏的object分布以及一些binary的links.
问题:因为严重的training bias,现有的生成模型更像是一堆object词汇的堆积。