场景图生成论文阅读笔记 之 PANet:A Context Based Predicate Association Network for Scene Graph Generation

2019 ICME

《PANet: A Context Based Predicate Association Network for Scene Graph Generation》

针对问题

以前的工作(IMP、MotifNet等等)利用了上下文信息,空间位置信息(LinkNet等),但是在最终预测relation时都是按照分类的方法处理的,即认为relation与relation之间是互斥的,但并不是(例如on和ride在一些情况下是等同的),这些文章都没有利用relation与relation之间的关系,文中称为 谓词与谓词之间的关系

本文创新

基于RNN提出了新的框架来提取上下文信息、位置信息,并在预测谓词的时候结合了谓词与谓词之间的关系信息(这一模块也是基于RNN实现),并且在最终引入了注意力机制(通过加权系数来实现)

网络结构

与近几年的其他算法类似,都引入了目标的 视觉特征、位置信息、上下文信息、类别信息

1. 类别信息编码E_bi
作者提到有两种方式:①词向量嵌入 ②class distribution(类别分布)
当有目标的GT类别标签时,推荐使用词向量嵌入的形式。作者提到词向量嵌入能反映词与词之间的关系。

2. 空间位置编码S_bi
对于一个目标bi的编码方式如下所示:
在这里插入图片描述

3. 上下文信息F_g
上下文信息与LinkNet中的方式有点类似,直接将整张图的特征向量拼接在目标特征Υ_bi的后面

网络结构
Proposal同样通过RPN提取,对于每一个目标,都使用 [ 视觉特征+类别编码+位置编码 ] 拼接成的特征向量来表示,然后依次输入到RNN中进行处理(这里应该是参考了IMP的消息传递机制),而后每一个目标都会对应产生一个特征向量Υ_bi,此时再引入全局上下文信息,即将整张图的特征拼接在Υ_bi后面得到G_bi来表示目标bi:
在这里插入图片描述

G_bi后面一方面会用于目标的分类器与定位回归
一方面用于与其他目标的关系预测。
在这里插入图片描述

谓词预测(关系预测)

如果要预测目标bi与bj之间的关系谓词,这里首先将G_bi与G_bj按元素乘积操作,然后与二者的union区域的特征进行拼接得到关系向量Us,o
在这里插入图片描述

而后将Us,o分别与每个谓词的embedding拼接,依次输入到RNN中再进行一次消息传递(对应创新点中 结合谓词与谓词之间的关系)
最后作者考虑到不同的谓词与最终的结果相关程度不同,因此添加了可计算的权重(相当于引入了注意力)

实验结果

比MotifNet提升了很多,和LinkNet的结果接近

在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值