Visual Semantic Role Labeling论文笔记

前言

这是2015年的一篇文章，论文地址点这里

笔记

1. 本篇文章的作者其实是模仿了效仿NLP中的SRL，即语义角色标注，就是给出一段话，要将这句话分词，以谓词为准，得到一系列的agent、instrument、object等。作者所说的VSRL就是给出一幅图片，给出图片中发生的动作，并框出人和与人交互的物体即object。文章反复出现的different semantic role其实就是说一个物体在不同的动作过程中会扮演不同的角色。比如像击球这个动作中，棒球棒扮演的是工具（instr）、棒球就扮演的是目标（obj）。
2. 后边讲了本篇文章的贡献，首先是因为之前没有人做这个事情，所以没有数据集。作者就提取了COCO2015的部分数据进行了标注，具体如何进行标注的文中在第二部分Related Work中进行了详细的叙述。总的来说，作者确定了26个主要的动作如上图2中的table 1，然后得到和这个动作相关的所有图片，