论文题目太长打不下了,最后的VRD是Visual Relationship Detection,视觉关系检测,任务是检测和定位图上的多对object,然后分别对每一对object的交互关系(predicate)进行分类。对于SGG来说,就相当于只做predicate classification。
还是先放pipeline。
一、目标检测
![](https://i-blog.csdnimg.cn/blog_migrate/32c924fa8db8f405f955f171171d053c.png)
二、视觉关系预测
1.spatio-linguistic Attention Module(SLA-M)
![](https://i-blog.csdnimg.cn/blog_migrate/ed9c8c0875167a3573a8cec9d0336d1d.png)
下面的分支:空间分支,输入是从图像中提取出的二值掩模图像,使用三层卷积编码
最后两个分支通过fc将语义-空间特征映射到低维空间。
2.Predicate Branch
![](https://i-blog.csdnimg.cn/blog_migrate/5346f63e8c21286c8922196dbe3d271c.png)
经过一层fc;
经过注意力池化层,注意力池化层的权重取决于SLA-M的输出,使用注意力池化的原因:让网络关注具有判别性的视觉线索,即使它们可能只占整幅图像的一小部分;
再经过一层fc;
得到fp,即编码后的谓语特征;
Wcls(s,o,m)p:空间-语言分类器权重,输入是fp,Wclsp上面的箭头连的是SLA-M的输出,我觉得这里的意思应该是SLA-M的输出决定了Wclsp权重的意思。
P-score:
![](https://i-blog.csdnimg.cn/blog_migrate/f5be541b4087002bbba9ec59ecc98cb3.png)
3.Object-Subject Branch
![](https://i-blog.csdnimg.cn/blog_migrate/8d56cff74538a7d66cbb6fdeeb54d312.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a827ce2fcf096fd69ff5f489632b6164.png)
4.融合分支
![](https://i-blog.csdnimg.cn/blog_migrate/f8f2b2b2d51a2e75d4edec842a7a43cd.png)
最终计算的三个loss应该都是针对谓语分类的。