论文记录：Neural Motifs: Scene Graph Parsing with Global Context (CVPR-18)

（这里只是记录了论文的一些内容以及自己的一点点浅薄的理解，具体实验尚未恢复。由于本人新人一枚，若有错误以及不足之处，还望不吝赐教）

总结

1. 本文关注的问题是 Scene Graph 的生成。通过观察 VG 数据集发现：

   • 超过大半的 images，实体对之间的可能关系高度依赖于实体对的标签，反之不是（object labels are highly predictive of relation labels but not vice-versa）
   • 同时当某一个 object label 出现时，另外一个 object label 的取值范围就会缩小（in general, the identity of edges involved in a relationship is not highly informative of other elements of the structure while the identities of head or tail provide significant information, both to each other and to edge labels）

   论文将这种 regularly appearing substructures(基础) in scene graphs 称为 motifs，并由此提出了 Stacked Motif Networks，是一个用于 capture higher order motifs 的新型网络模型。基于这个发现，提出了一种 simple but powerful baseline: given object detections with labels, predict the most frequent relation between object pairs without visual cues，实验结果发现，该 baseline 的效果不降反升了平均 1.4 个召回率。

2. Key Challenge: devise an efficient mechanism to encode the global context that can directly inform the local predictors.

模型架构

1. 该模型的输入是一幅无任何标注的图像 $I$，输出是图像上所有的视觉三原组。各个阶段如下：
   
   stage 1）
   Bounding boxs、利用一个在 VG 上预训练好的 Faster R-CNN 用于对输入图像上的物体的 label 和 bbox 标注出来，其输出是 $[(b_1,{\mathbf{f}}_1,1_1),\dots ,(b_n,{\mathbf{f}}_n,1_n)]$，其中 $b_i$ 表示区域 $i$，${\mathbf{f}}_i$ 表示该区域的 Faster R-CNN 的feature，$1_i$ 表示该区域的 object label 的概率分布向量
   
   stage 2）
   Objects。由两种 LSTM 构成，第一种是 biLSTM，用于将来自stage 1的 ${\mathbf{f}}_i$ 进行再次编码成具有上下文信息（contextualized information）的特征 ${\mathbf{c}}_i$； 第二种是普通的 LSTM，用于预测在考虑了上下文信息后，该区域的label，表示为 $\widehat{{\mathbf{c}}_i}$（与 $1_i$ 的不同之处为 $1_i$ 不考虑上下文信息，故预测的label可能不准确，而 $\widehat{{\mathbf{o}}_i}$ 考虑了上下文信息，预测的label 可能更准确）。该阶段的两种 LSTM 公式如下：
   $$\begin{array}{l}\mathbf{C}\\ {\mathbf{h}}^{}\end{array}$$