论文阅读：Deeply Supervised Multimodel Attentional Translation Embeddings for VRD(ICIP2019)

论文题目太长打不下了，最后的VRD是Visual Relationship Detection，视觉关系检测，任务是检测和定位图上的多对object，然后分别对每一对object的交互关系（predicate）进行分类。对于SGG来说，就相当于只做predicate classification。

还是先放pipeline。

一、目标检测

最上面的两个箭头：提取单个物体的视觉特征 下面的箭头：提取物体对组成的union box的视觉特征

二、视觉关系预测
1.spatio-linguistic Attention Module（SLA-M）

上面的分支：语言分支，输入的是主客体的类别语义嵌入信息，使用MLP编码

下面的分支：空间分支，输入是从图像中提取出的二值掩模图像，使用三层卷积编码
最后两个分支通过fc将语义-空间特征映射到低维空间。

2.Predicate Branch

xp：经过预池化的谓语特征，仍然保留了空间信息；

经过一层fc；
经过注意力池化层，注意力池化层的权重取决于SLA-M的输出，使用注意力池化的原因：让网络关注具有判别性的视觉线索，即使它们可能只占整幅图像的一小部分；
再经过一层fc；
得到fp，即编码后的谓语特征；
Wcls(s,o,m)^p：空间-语言分类器权重，输入是fp，Wcls^p上面的箭头连的是SLA-M的输出，我觉得这里的意思应该是SLA-M的输出决定了Wcls^p权重的意思。
P-score：

3.Object-Subject Branch

主客体分别经过2个fc，再将fo和fs相减，不像VTransE用的纯减法，因为主客体经常互相遮挡，纯减法可能削减有意义的特征。 Wcls^o^和上面的Wcls^p^一样，权重由SLA-M的输出决定。

4.融合分支

OS分支的score和P分支的score通过2个fc融合，也是为了预测谓语种类的 这个分支应该是为了满足下式的。

最终计算的三个loss应该都是针对谓语分类的。