Multimedia Event Extraction (M2E2) Annotation Guideline V0.1

文献笔记
多媒体事件抽取注释指南

下载地址http://blender.cs.illinois.edu/software/m2e2/

文本注释参考ACE的注释方法，本文重点介绍图像注释的方法

1 Introduction

在本文中，我们提出了一种多媒体事件提取（M2E2）任务，其中输入是具有图像的文本新闻文章，输出是从文本和图像模件中提取的事件。我们构建来自美国VOA网址2006-2017的108,693个多媒体新闻文章的M2E2的数据集，并根据三个标准选择245个多媒体文件作为注释集：（1）信息性：有更多事件提到的文章; （2）插图：更多图像的文章（至少四个）;（3）多样性：平衡事件类型分布。对于第一个和第三个标准，我们使用基线仅限唯一的事件提取模型（Li等，2019）来估算每个文章中每个事件类型的事件提到的事件数量。
我们在文本和视觉事件注释事件类型和参数角色。注释过程如表1.完成文字无关和图像无关的注释之后，要求专家注释器进行裁决。 我们不标记所有事件，只标记ACE本体的特定子集，如表2所示

文本注释包含事件类型（event type）注释和论元（argument）注释。
我们为每个事件触发器分配一个事件类型（单词或词组可以最清楚地表示事件发生）以及每个参与者的论元角色（实体，时间或值的表达）。 在这里，我们专注于句子内事件提取，而不是交叉的跨句或跨文档情况 。

可视事件注释包括事件类型注释和论元注释。 如果图像包含预定义的事件类型，我们将为每个图像分配事件类型，并分配参数角色
到相应的边界框。 事件类型注释未在图像中定位特定区域，而是将整个图像用作判断。
在每种模式中单独注释事件和参数后，我们要求注释者找到对应于同一事件实例（即，在相同位置和时间发生的相同事件类型）的图像句子对。
本指南的重点是如何注释图像中的事件（event）和论元角色（argument role）。 有关文本事件注释的更多详细信息，请参阅ACE英语事件注释准则

2 Image Event Type Annotation

图像事件的注释：Caption as reference（字幕作为参考）。决定图像事件类型时，他的图像标题用作参考。 仅通过图像本身确定事件类型可能会模糊，如图1，2，3

图1应该是【移动】

图2应该是【游行】

图3应该是【庆祝】

当图片中暗示的事件不在字幕中，也对图像标注。如图4

（图4字幕：比利时总理查尔斯米歇尔（Charles Michel）中心地址比利时议会宣布在近期致命巴黎袭击之后宣布安全措施，于2015年11月19日的布鲁塞尔。字幕没有显示meet和phone-writer事件但是可以从图片中识别出对应的动作）

如果图像没有显示某些动作尤其是没有显示从标题中标记的事件，如图5，它也不会标记。

（图5虽然字幕写着是死亡事件但是图片中没有相应动作，不对图片标注）

Multiple events in one image
一张图片中有多种事件
1图片暗示了多种事件，如图4，图像标注多种事件类型
2图片的字幕暗示了多种事件，如图7，只有当图片确实暗示了字幕中的多种事件时，我们才会对图像进行多种事件的标注

(虽然“protester”这个词意味着一个conflict.demonstrate事件，我们只将此图像标记为justice.arrestjail，因为图片只显示了【arrestjail】事件，而protester对应conflict.demonstrate事件在图片中并没有显示。 图片标题：警察在2014年3月2日逮捕了抗议者)

3 Image Event Argument Annotation

图像事件论元注释
Union and Instance Bounding Boxes我们采用边界框，覆盖目标的最小区域，以标记事件参数。使用两个粒度的边界框，即Union-Level和InstanceLevel。如图8，每个角色的union边界框是一个涵盖了所有参数最小的边界框 。
相比下，the instance bounding box 指定每个视觉对象实例，即一个论元，如图9，每个角色都有多个实力边框盒。实例边框盒的标注参照 the visual object annotation guideline VOC 2011 Annotation

Guidelines4.http://host.robots.ox.ac.uk/pascal/VOC/voc2011/guidelines.html

**Extended Roles.**基于观察结果，某些视觉参数通常不太可能在文本中显示，我们将从ACE注释指南中扩展了一些事件类型的参数列表。例如，conflict中的“instrument”。demonstrate事件（展示事件），通常是海报或板，文本中的频率远低于图像，但提供了很多信息。
Skipped Roles.
如“place”，太抽象是图像中的实例。因此，我们不会在图像事件参数注释中标记那些模糊的争论角色。