《Dependency or Span, End-to-End Uniform Semantic Role Labeling》语义角色标注

《Dependency or Span, End-to-End Uniform Semantic Role Labeling》是一篇发表在AAAI会议上的论文，是由云从科技和上海交通大学联合创新实验室关于语义角色标注（SRL，Semantic Role Labeling）的研究成果。论文链接

一、背景介绍

SRL就是以句子中的谓词为中心，分析句子中各成分和谓词之间的联系。即句子的谓词（Predicate）- 论元（Argument）结构。谓词是对主语的陈述或说明，指出「做什么」、「是什么」或「怎么样，代表了一个事件的核心，跟谓词搭配的名词称为论元。语义角色是指论元在动词所指事件中担任的角色。主要有：施事者（Agent）、受事者（Patient）、客体（Theme）、经验者（Experiencer）、受益者（Beneficiary）、工具（Instrument）、处所（Location）、目标（Goal）和来源（Source）等。

例如：「小明昨天晚上在公园遇到了小红。」

「遇到」是句子的谓词，「小明」是谓词的发起者，角色为「施事者」，「小红」是谓词的接受者，角色是「受事者」，「公园」是谓词的发生地点，据说是「处所」等。
作为自然语言处理的一项基础性任务，语义角色标注能提供上层应用的非常重要的语义信息。例如在阅读理解应用中，把语义角色标注作为输入的一部分，可以帮助阅读理解应用更加准确确定各部分的语义角色，从而提高阅读理解的准确性。

比如：「小明打了小华」和「小华被小明打了」，这两句话语义完全一致，但由于被动语态引起的主语和宾语位置上的变化，当提问「谁挨打了？」时，阅读理解算法在处理这两句时，有可能会给出不同的答案。但如果我们把语义角色标注也作为阅读理解的输入信息，由于两句话中「小华」都是「受事者」角色，问题也是在问「受事者」是谁，这时阅读理解算法往往比较容易给出一致准确的答案。

明确了一个句子中各个成分的语义角色，可以更好的帮助自然语言的理解和处理。比如在「信息提取」任务中，准确的提取出动作的发出者信息；在「阅读问答」中给出事件发生的时间、地点等。因此，语义角色标注时很多自然语言理解与处理任务的基础，对于实现自然语言处理意义非常重要。

传统的语义角色标注是建立在句法分析的基础上的，但由于构建准确的语法树比较困难，基于此方法的语义角色标注准确率并不高，因此，近年来无句法输入的端到端语义角色标注模型受到了广泛的关注。这些模型算法，根据对论元的表示不同，又划分为基于区间（span）和基于依存（dependency）两类方法，不同方法的模型只能在对应的论元表示形式上进行优化，不能扩展、应用到另一种论元表示上。
这篇论文则通过提出一个统一的谓词与论元表示层，实现了将论元表示形式的统一，因此，该模型可以接受不同论元表示形式的数据集进行训练。

两种论元表示方法的区别如下图所示：

Dependency-based SRL只标注论元的头部而不是整个论元范围

二、Uniform End-to-End Model

1、Overview

给定一个句子s=w1,w2…wn，我们来预测一个谓词-论元-关系的元组

其中

当i=j时，表示dependency
R是语义角色集合

2、Token Represtation and Deep Encoder

使用了一个biLSTM-CNN架构，使用CNN将一个词w转化成字符级的Wchar表示，然后串上Wword和预训练的ELMo的Welmo
编码器使用了BiHLSTM，将上下文表示转化为特定的任务表示，其中为了避免梯度消失的情况使用了gated highway connections

3、Predicate and Argument Representation

为了在SRL上下文中区分当前谓词和候选论元，添加了两个多层感知器分别为论元和谓词表示，为了体现统一的SRL，本文提出了统一的谓词和论元表示层。对于dependency SRL，直接使gf = ga。对于span SRL则如上图所示。

是这个span的范围,size是这个span的大小，h是注意力加权平均的词向量，计算公式如上图所示。

4、Scores

模型通过对谓词、论元评分，以及谓词和论元的一个双仿射变换，同时实现了对谓词的识别、以及谓词与论元的联合预测

5、Training Objective

这个模型的目标是给定一个句子，优化y属于元组Y的可能性

三、实验

作者分别做了在预先给定谓词和不给定谓词的四次实验，然后将本模型中span-based和dependency-based做了实验对比，最后结论是dependency-based效果更好

四、结论

拓展了已有的模型，通过双仿射分数引进统一参数表示统一的span和dependency的SRL表示形式，实验证明这是可行的，这为以后能够方便的探索两种语义表征形式之间的有用联系