从文本生成场景图(1)——SPICE:Semantic Propositional Image Caption Evaluation

SPICE是一种文本生成的评价方法. SPICE 使用基于图的语义表示来编码 caption 中的 objects, attributes 和 relationships。首先,它将待评价的captions和参考captions通过一种名为概率上下文无关文法(Probabilistic Context-Free Grammar, PCFG)依赖解析器(dependency parser)解析成句法的依赖关系树(syntactic dependencies trees),然后利用基于规则的方法把dependencies tree映射成场景图。具体地，生成依赖关系树之后，通过3个后处理步骤（分别用于简化定量修饰符、解析代词和处理复数名词），然后根据九种简单的语言规则对生成的树结构进行解析，以提取对象、关系和属性，它们共同构成场景图。最后计算待评价的 caption 中 objects, attributes 和 relationships 的 F-score 值。

假设$c$是一条待评价标注，称为候选标注，$s$是一条参考标注。上图中左下角是5条参考标注。通过候选标注生成场景图记为$G(c)$，所有的参考标注$s$组成参考标注集合$S$，通过$S$生成的场景图记为$G(S)$。$T(\cdot )$ 表示将一个场景图转换成一系列元组（tuple）的集合。
其中$$G(c)=<O(c),E(c),K(c)>$$元组的形式为$$T(G(c))\iff O(c)\cup E(c)\cup K(c)$$<