最近看了这篇论文, 写了些心得体会,仅代表个人看法,如有不对还请多多指教!
本文提出了一种新的设计方案,在基于注意的编解码框架下,探讨图像描述对象之间的联系。具体来说,我们提出了图形卷积网络和长期短期内存(称为gcn-lstm)架构,这种新颖的方法将语义和空间对象关系整合到图像编码器中。从技术上讲,我们根据图像中检测到的对象的空间和语义联系来构建关系图形。然后,通过GCN利用图形结构,对每个区域的表示进行细化,得到区域级关系感知特征,然后将其注入到attention lstm中生成句子。
在COCO图像描述数据集上进行了广泛的实验,当与最先进的方法相比时,报告了更好的结果. 更值得注意的是,GCN-LS TM在COCO测试集上将CIDER-D性能从120.1%提高到128.7%
如图(A)和(B)是典型的图片描述的卷积神经网络模型,一个尚未充分研究的共同问题是如何利用视觉关系进行图片描述,因为对象之间的相互关联或相互作用是描述图像的自然基础。
所以就有了图(c)我们的GCN+LSTM模型进行图片描述。
什么是视觉关系
视觉关系描述了图像中检测到的对象之间的交互或相对位置。视觉关系的检测不仅涉及到对象的定位和识别,还涉及对每对对象之间的交互(谓词)进行分类。这种关系可以表示为主语-谓词-目标,例如(man-eating-sandwich)or(dog-inside-car)
这篇论文提出了一种新的模型,是GCN+LSTM的结构,整合了语义信息和空间位置信息到图像编码器
论文的重点在于语义关系和位置关系的提取
模型的整体结构
首先是用Faster R-CNN来提取一系列图像中突出的图像区域。然后利用提取出来的图像区域进行构建空间图和语义图。顶点表示区域,边表示区域之间的语义关系或是空间关系。然后用GCN 在结构化的语义和空间图上的视觉关系进行上下文编码。然后得到这些学习后区域级别的关系感知的特征,然后分别送入一个独立的attention LSTM解码器用于句子生成。在推理阶段,是采用后期融合方案来线性融合两个解码器的结果。
Semantic Object Relationship
语义关系可以用 subject-predicate-object 表示
语义关系是有方向性的,通过谓词将主体和客体相关联,谓词可是对象间的交互或动作
其实这个就是视觉关系分类器