2018 NIPS LinkNet: Relational Embedding for Scene Graph论文解读

2018 NIPS LinkNet: Relational Embedding for Scene Graph论文解读

这篇文章想解决的问题是生成scene graph问题，这个任务是基于2017年提出的数据集visual genome的新任务，scene graph如图：

对于输入的一张图像，先检测出它包含的object，并且进行分类，不仅如此还要找到他们之间的关系，然后构成scene graph（图中下半部分），同时还有local region graph任务（图中上半部分）。
基于scene graph任务作者提出了linknet方法。主要包含三个模块：relational embedding module，用于对object进行分类并且对他们的关系进行分类；global context encoding module，用于提取全局信息，尽量包含image中所有的proposal信息，用于辅助object关系的分类；geometrical layout encoding module，使用object proposal之间的空间信息，来辅助object关系的分类。
overview：

对于一张image使用目标检测方法提取ob