2018 NIPS LinkNet: Relational Embedding for Scene Graph论文解读
这篇文章想解决的问题是生成scene graph问题,这个任务是基于2017年提出的数据集visual genome的新任务,scene graph如图:
对于输入的一张图像,先检测出它包含的object,并且进行分类,不仅如此还要找到他们之间的关系,然后构成scene graph(图中下半部分),同时还有local region graph任务(图中上半部分)。
基于scene graph任务作者提出了linknet方法。主要包含三个模块:relational embedding module,用于对object进行分类并且对他们的关系进行分类;global context encoding module,用于提取全局信息,尽量包含image中所有的proposal信息,用于辅助object关系的分类;geometrical layout encoding module,使用object proposal之间的空间信息,来辅助object关系的分类。
overview:
对于一张image使用目标检测方法提取ob