论文阅读-场景图谱-图谱生成-Unbiased Scene Graph Generation from Biased Training

Yang J, Lu J, Lee S等. Graph R-CNN for Scene Graph Generation[J]. Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 2018, 11205 LNCS: 690–706.

摘要

• 一种新的场景图谱生成模型Graph R-CNN

它包含了两个部分：

1. Relation Proposal Network(RePN) 有效的预测图像中二元组的数量。
2. attention Graph Convolutional Network(aGNN) 可以有效的捕捉对象之间的关系和上下文信息

• 引入了一种新的evalution metric.
• SOTA

引言

背景

如果将图像中所有的节点和边都考虑到，随着对象数量的增长，这个问题很快变得不太现实。

问题与解决方案：

问题

随机下采样？ naive ， 精度会降低

解决方案：Graph R-CNN

可以加速以下3个进程：

1. object node extraction

2. relationship edge pruning

3. graph contect integration

对象提取阶段，利用了标准的对象检测pipline，如下引用，它会产生一些相对位置固定的node。

Ren, S., He, K., Girshick, R., Sun, J.: Faster r-cnn: Towards real-time object de- tection with region proposal networks. In: NIPS (2015）

---

在之后的两个阶段：

• 引入了RePN

  计算对象之间的相似度得分，它可以智能修复不太有用的对象，修复之后的图如下：
  

• aGNN

  利用注意力机制更新图谱的表示

方法优势

• 可以预测edge的关注程度

• 可以学习和调节边信息流

  

评估方法

提出了一种新的evalutaion metric

主要贡献

具体而言，这项工作通过引入可以利用对象关系规律的新型模型（Graph R-CNN）解决了场景图生成问题，并提出了一种用于场景图生成的更全面的评估指标（SGGen +）。 我们根据标准指标和此新指标的现有方法对模型进行基准测试-优于现有方法