一分钟图情论文：《叙事型图像语义标注模型研究》

一分钟图情论文：《叙事型图像语义标注模型研究》

在图像中凝固的故事，不仅仅是静态的艺术作品，更是跨越时空的视觉叙事。叙事型图像作为一种特殊的视觉文献资源，承载着丰富的时空信息和复杂的故事情节。然而，现有的语义标注模型往往难以准确表达这些复杂的语义信息。武汉大学的徐雷和王晓光教授针对这一问题，在《叙事型图像语义标注模型研究》一文中提出了一种适用于叙事型图像标注模型，为我们打开了理解和标注叙事型图像的新大门。

• 采用模块化本体设计思想，将情节（Plot）、实体（Entity）、动态元素（Dynamics）和情境（Context）等核心概念进行模块化分析与设计
• 结合开放标注协同框架（Open Annotation Collaboration, OAC），实现了图像标注数据的互操作和共享

叙事型图像标注模型

1. 情节（Plot）

   • 定义：情节是图像中反映的故事或事件的子变化过程，各子变化过程通过时空联系组合成完整的叙事内容。
   • 特征：情节具有特定的时空情境，并通过时空信息联系其他情节，情节之间存在时序和空间上的语义关系。
   图：以情节为核心的叙事型图像语义标注框架

2. 实体（Entity）

   • 定义：情节的发展需要有相应的实体参与，包括人物、动物、植物等。
   • 分类：实体可分为具体（Concrete）和抽象（Abstract）两类，时空实体进一步分为Place和TemporalThing。
   • 角色（Role）：实体可以被赋予特定的角色，如动作的施事者（Actor）和受事者（Recipient）。

图：实体的分类体系示例

3. 动态元素（Dynamics）

• 定义：动态元素表示情节的动态发展特征，如动作（Action）和事件（Event）。
• 分类：动态元素有不同的类型（DynamicsType），如KillingAction和HeroAction等。
• 关系：动态元素包括两个对象属性，hasActor表示动作的施事者，hasRecipient表示动作的受事者。

图：Dynamics类型

4. 情境（Context）

• 定义：情境为标注模型提供额外的扩展能力，如情节发生的天气环境和时代背景等。
• 特征：这些信息通常隐藏在图像背后，但对理解图像非常有帮助。

表：情节标注模型核心属性关系

属性名称	领域	范围	说明
nextPlot, lastPlot, overlaps, overlappedby, meets, metby, starts, startedby, during, contains, finishes, finishedby, equal	Plot	Plot	情节之间的时序关系
hasEntity	Plot/Dynamics	Entity	hasEntity 具有子属性: hasObject (Plot, Object), hasParticipant (Plot, Agent), hasPlace (Plot, Place), hasTemporalThing (Plot, TemporalThing), hasActor (Action, Entity), hasRecipient (Action, Entity) 等
hasType	Action	ActionType	动作的类型，ActionType 为 DynamicType 的子类
hasRole	Entity	Role	实体的角色
inPlot	Role	Plot	角色所处的情节
hasDynamics	Plot	Dynamics	情节和动作的关系，具有子属性 hasAction (Plot, Action)
nooverlap, completeoverlaps, contains, partialoverlaps	Selector	Selector	标注区域重叠关系, Selector 为 OAC 中的元素
hasTargetFocus	Annotation	Entity	表示标注区域所指示的现实世界的实体概念
inContext	Plot	Context	描述在特定情境

参考文献

• 徐雷,王晓光.叙事型图像语义标注模型研究[J].中国图书馆学报,2017,43(05):70-83.DOI:10.13530/j.cnki.jlis.170023.