一、文章主要有两个贡献点
1、建立了基于对话的visual granding数据集
2、给出了基于深度学习的baseline model
二、数据集
这是数据集中的两个例子,可以发现每一张图有一个instance级别的标注,并且对应若干个问答形式的描述!任务的目的在于通过这些问答形式的描述,自动的确定所描述的目标物体是谁!
三、基础模型
从图中可以发现,模型的结构还是比较简单的,有5类不通的输入内容:1、context也就是全局上下文,也就是整张图像;2、crop,也就是object的ROI图像;3、spatial information,也就是坐标文中采用了[左上角,右下角,中心点,尺寸];4、类别是one-hot向量,用了一个embed层转换成dense category embedding;5、语义向量;
MLP:是只有一个隐层,最后用softmax接交叉熵;
CNN:用于提取视觉特征的是预训练的VGG,图像resize到224,从fc8提取向量;
上图只是针对一个object,对于图中存在这一系列object,需要如下图所示的做法,然后用softmax选一个最大的概率:
四、实验对比
这个表中给出了各种信息不同组合方式,给结果带来的影响!