Document-Level Event Role Filler Extraction using Multi-Granularity Contextualized Encodin（2020）论文笔记

背景

当识别事件参数所需的信息分布在多个句子中时,需要更大的上下文视图来确定哪些文本跨度对应于事件角色填充.完整的文档级提取问题通常需要角色填充词提取、名词短语共指消解和事件跟踪(即,确定提取的角色填充词属于哪个事件).在这项工作中,只关注文档级别的角色填充提取.

贡献

研究上下文长度(即最大输入段长度)对模型性能的影响,并找到最合适的长度;提出一种多粒度阅读器,动态聚合从本地上下文(例如,句子级别)和更广泛的上下文(例如,段落级别)中学到的信息.

数据集

MNC-4：由联邦广播信息服务局免费提供

模型

任务

1. 如何将文档转换为成对的标记标签序列,并将任务形式化为序列标记问题;
2. 基于k-句子阅读器
3. 多粒度阅读器的架构.

任务1：文档转换标签序列

训练集:将文档分成句子s1、s2、.、sn.为了构建训练集,从每个句子i开始,连接k个连续句子(S到Si+k-1)以形成长度为k的重叠候选序列一一序列1由{S1,…,Sk}组成,序列2由{S2,…,Sk+1}等组成.从候选序列中采样相同数量的正负序列,其中"正"序列包含至少一个事件角色填充符和"否定"序列不包含事件角色填充符.
测试集:将连续的k个句子按顺序分组,生成nk个序列(即序列1由{S1,…,Sk},序列2由{Sk+1, S2k}等组成)

任务2：K句子阅读器

***Embedding Layer:***将输入序列中的每个标记xi表示为其词嵌入和上下文标记表示的串联
**Context Embedding:**使用BERT-base为我们的k句标注模型生成的上下文表示
***BiLSTM Layer:***帮助模型更好地捕获序列标记之间的特定于任务的特征
CRF Layer:（图是另外找的）在 NER 等任务上为句子级序列标记模型汲取灵感， 联合而不是独立地对标记决策进行建模可以提高模型的性能（例如，标签“I-Weapon”不应跟随“B-Victim”）。 我们使用条件随机场联合建模标记决策， 将 {p1, p2, …, pm} 通过线性层后，我们有大小为 m× 标签空间大小的 P，其中 Pi,j 是序列中第 i 个标记的标签 j 的分数 .

任务3：多粒度阅读器的架构

目的： 为了探索从不同粒度(句子和段落级别)聚合上下文的token表示的效果,我们提出了多粒度阅读器
过程： Word Embedding相同,但是Context Embedding分为句子级和段落级,分别构造了(BILSTMsent和BiLSTMpara),分别依次应用于段落中的每个句子和整个段落

结论

消融实验表明，在本文中，多粒度阅读器还是取得了一定效果的，对于门控融合，BERT，CRF各自贡献了不小的作用.
（其中，门控位于上图Rep.fusion,文中给出了两种门控方法：1：简单和融合。2：门控融合。其作用是为了控制应该从两者中合并多少信息）