Visual Relation of Interest Detection 2020场景图论文阅读

兴趣检测的视觉关系

摘要

目标是检测出对传达图像主要内容非常重要的视觉关系。
但不是所有检测到的关系都是在语义上“有趣”,只有一小部分关系对表述图像的主要内容真正有意义，这种筛选出来的关系就是
视觉兴趣关系(VROID),是对传统的视觉关系检测(VRD)的改进。

创新点
1.构建了一个新的数据集(ViROTs),有30120个图片，每个图片都有VROIs注解
2.开发了兴趣传播网络(IPNet),包含 POD(全景目标检测模块)，成对兴趣预测模块(PalP)和谓词兴趣模块(PrIP)

POD模块从输入图像中提取实例，并生成相应的实例特征和联合特征。然后PalP模块预测每个实例对的兴趣分数，而PrlP模块预测每个实例对的每个2谓词的兴趣分数，然后将实例对的兴趣分数和相应谓词的兴趣得分相结合，作为最终的兴趣得分。然后吧所有的VPOI候选人按最终兴趣分数排序，最高的作为最终结果，

介绍

视觉关系很重要，但是两两之间的联系很多，大部分是没有用的

一个新的数据集，VrR VG,它关注平衡的数据分布和视觉相关关系，但这些关系在语义上不一定“有趣”
VROID的定义（Visual Relation Of Interest Detection 视觉兴趣关系检测）

目的是 用关系三元组来表示VROLs,并通过边界框来定义每个关系三元组的主客体，以“女孩在电脑上工作为例" ，person he
computer 可能是 beside behind 但只有 work on
才是主要内容，所有谓词才是最重要的，VROID中的重要性度量应该具有足够的区分性，以区分这些谓词候选者

新的兴趣传播神经网络(IPNet)

POD模块

提取给定输入图像中的所有实例，这些实例表示为边界框和相应的类别。

PalP模块

对每对 两个实例(三元组中的主体和客体)生成兴趣概率，首先为 每个实例及其类别，边界框和特征 生成感兴趣的特征，也为每个实例对
生成类似的特征。
然后，两个实例的兴趣特征通过一个卷积网络，传播到他们的对上。并且在主语和宾语都感兴趣的前提下，利用Prlp模型预测出每队候选谓词的新兴趣概率，也就是谓词是否感兴趣，在对感兴趣的条件下，通过将一对的兴趣概率乘以谓词的兴趣概率，将
对 的兴趣特征传播到三元组中

新的数据集 ViROI

有30120幅图和109764个带注解的VROIs

相关工作

兴趣目标检测的目的是只检测有利于表示图像内容的对象，而排除描述给定图像的不重要对象。

数据集

注释设计

有45000个图像，为图像标题中的每个名词提供相应的实例，他是对IOID数据集中45000个图像中注释VROIs：

1.标记关系三元组: 从MSCOCO的标题中自动提取可能的关系三元组以及主语，谓语和宾语候选
2.在每个三元组中选择主语和宾语的实例,并为每幅图像
注解工具
他包含图像标题，要注释的图像和标签关系。

他可以做到从系统自动生成的所有可能的对象对中手动改挑选出正确的主题对象对

数据处理
分成了六步来对数据进行清理
1.使用Stanford CoreNLP lemmatizer对谓词进行 Lemmatize
2.过滤掉带有不规则谓词的图像

定义了四种谓词规范：动词(hold,ride),介词(on,with),空间(next,front of,outside
of),介词短语(stand side,sit at)

3.基于WordNet合并同义谓语
4.把所谓的被动关系(可逆的关系)，改正回来通过交换主语和宾语 比如从hold by改成主动语态的hold，不可逆的就不变
5.过滤掉在整个数据中出现次数少于6次的稀有谓词的关系，以限制谓词的数量
6.过滤掉重复的关系和没有任何关系的图像

数据分析

方式

POD:

PIP:


PRIP: