2020-无偏见的场景图生成:Unbiased Scene Graph Generation from Biased Training

论文地址：(https://arxiv.org/pdf/2002.11949v3.pdf)
代码链接：(https://github.com/KaihuaTang/Scene-Graph-Benchmark.pytorch)

Abstract

  
　　如今的场景图生成SGG任务因为存在严重的训练偏见，所以仍然不理想。但是去偏的SGG并不简单，因为传统的去偏方法并不能区分好的偏见还是坏的偏见，如好的偏见（人们读书而不是吃书）坏的偏见（near被当作在后面或者前面）。本论文中，我们提出了一个基于因果推理而不是基于传统可能性的SGG框架。首先为SGG建立一个因果图，用传统有偏见的方法进行训练，然后从训练好的图中提取反事实的因果关系，从而推断偏见的负面影响，应该被消除。我们使用Total Direct Effect作为无偏的SGG的最终谓词得分。注意我们的框架对任何SGG模型都是不可知的，所以可以广泛应用到寻求无偏预测的地方。通过在SGG基准Visual Genome和几个流行模型上使用所提出的场景图诊断工具包，得出相比于以前最先进方法的显著改进。

Introduction

  
　　场景图生成SGG----一个目标的视觉检测任务和图像中的关系，但是并不能做到支持高水平任务的图形推理（如视觉标注和VQA）的全面视觉场景表示。然而我们的核心任务是[71,55,6]，假装有一个图形–只有一个具有二元链接的稀疏对象布局，最后将其覆盖到图形神经网