论文阅读之《Jointly Predicating Predicates and Argumentsin Neural Semantic Role Labeling》-ACL2018

最新推荐文章于 2024-10-09 20:00:01 发布

Debugger717

最新推荐文章于 2024-10-09 20:00:01 发布

阅读量376

点赞数

分类专栏：论文阅读文章标签： nlp 自然语言处理深度学习

本文链接：https://blog.csdn.net/qq_34273438/article/details/110275333

版权

论文阅读专栏收录该内容

1 篇文章 0 订阅

订阅专栏

Motivation：

之前的语义角色标注都是基于BIO标签的模型，将srl任务看作是序列标注问题，一次预测一个谓词的全部论元span。另外，它需要假定gold predicates是给定的，且不能融合span级别的信息。所以该文章提出了一个end-to-end的方法，共同预测谓词、论元及他们之前的关系。是第一个不给定谓词基于span的srl模型（在不给定谓词达到sota,模型源于共指消解的模型coreference resolution)。

Introduction of task:

语义角色标注任务就是捕捉谓词和论元之间的关系，像谁对谁做了什么。“小明打小红”，那么“喜欢”是谓词，“小明”“小红”都是论元，其中小明是施事（ARG0），小红是受事（ARG1）。在现实生活场景中，谓词是没有的，所以srl任务往往会分为谓词预测、论元预测、关系预测等子任务。

Model:

首先，他们认为输入的句子中全部的词都可能是谓词，全部的连续片段都有可能是论元。模型来决定每个predicate-argument对之间的关系，若他们没有关系则打上NULL标签。

形式化：给定X={w1,w2,……,wn},预测一组标注的谓词-论元-关系，Y是PAL的子集，其中P={w1,w2,……,wn}是谓词（也是所有的输入tokens），A={(wi,……wj)|1<=i<=j<=n}是全部的论元（也是全部连续的句子片段），L是一组语义角色标签（包括NULL label)。srl最后的输出是非空的关系{（p,a,l)是Y的子集且不为空}
计算条件概率：

其中下面是可能的组合计分函数（论元一元得分，谓词一元得分，标签得分，：

loss function:

Beam pruning:Ba 和Bp来存储候选的论元和谓词，他们的size被限制为λan和λpn,对于不在Ba和Bp中的谓词和论元，不参与标签得分函数的计算。

Neural Architecture:

Word-level contexts：底层将每个wi表示为预训练的word embedding 和character-based embedding的连接，xi =[WORDEMB(wi); CHARCNN(wi)].将xi作为m-层的双向LSTM（with highway connection)的输入获得每个词的词表示 ¯xi。
Argument and predicate representation:构造论元和谓词的上下文表示，对于论元的上下文表示包括四个部分g(a) =[¯xSTART(a); ¯xEND(a); xh(a); f(a)],其中，¯xSTART(a); ¯xEND(a)是BiLSTM中的输出，xh(a)是一个soft head表示，就是对span进行加权求和，需要先用bilstm的输出span算得一个权重e(a),然后再对原始输入span作一个加权求和。（一直没搞明白这个head,写出来终于……，哈哈哈，今天一天有这个收获足矣，softmax就是对加权求和之后对每个元素求得在和中的比例）。而f(a)就是span的宽度特征嵌入。
谓词表示就是位置Index上BiLSTM的输出。
Scoring计算得分：在得出的论元和谓词表示的基础之上，应用了前馈神经网络（a.k.a MLP, a.k.a FFNN)
体系图由下而上看：

这里是直接用span表示直接预测SRL图，如果text span有关系，那么就独立预测他们之间的role。为了效率，使用了剪枝（beam pruning),最后的图就是预测的SRLroles和相关系的spans的union。这篇文章的模型与其它的基于BIO模型和semi-markov相比，优点：1）因为是独立地预测每个谓词和其论元的关系，所以，不同的谓词可以有相同的论元成分；2）span表示也可以产生在BIO中产生的token级别的表示

实验Settings

在CoNLL2005和CoNLL2012两个数据集（基于span)上进行实验；
使用了两个实验设置：给定谓词（可以像BIO一样，给定谓词来预测论元及其关系,输入的时候也输入gold_predicates，就是将Bp设置为gold predicate,而不需要预测）和end-to-end(输入只给tokenized的句子）
使用F1 评测指标来评测元组（predicate, argument span, label)
为提升性能，加了ELMo embedding。

结果

with gold predicates：WSJ和Brown是CoNLL2015的数据，一个是in-domain,一个是out-of-domain,在测试集上的结果。OntoNotes是CoNLL2012的数据集给定了谓词(POE的是Ensemble模型还有加了elmo的），Tan的是基于注意力的，和本篇文章是同一时期的，性能更好一些。

在这里插入图片描述