BioNLP2020_A BERT-based One-Pass Multi-Task Model for Clinical Temporal Relation Extraction

论文

---

摘要

最近，BERT在从临床电子病历文本中提取时间关系方面取得了最先进的性能。然而，当前的方法效率很低，因为它需要对每个输入序列进行多次传递。本文将最近提出的用于关系分类的one-pass模型扩展为用于关系提取的one-pass模型。通过引入全局嵌入来帮助进行远程关系推理，并通过多任务学习来提高模型的性能和泛化能力。我们提出的模型在THYME语料库上的时间关系提取方面取得了与最新水平相当的结果，并且在计算成本上要“环保”得多。

一、介绍

许多医学现象(如疾病进展、药物的纵向效应、治疗方案和结果)的分析在很大程度上依赖于从嵌入在电子病历(EMRS)中的临床自由文本中提取时间关系。在粗略的水平上，临床事件可以链接到文档创建时间(DCT)作为文档时间关系(DocTimeRel)，可能的值为BEFORE、AFTER、OVERLAP和BEFORE_OVERLAP。在更精细的层面上，叙事容器(Pustejovsky and Stubbs，2011)可以将事件暂时归类为包含关系。THYME语料库由EMR临床文本组成，并使用TimeML的扩展用时间表达式(TIMEX3)、事件(Event)和时间关系(TLINK)进行标注。它被用Clinical TempEval评测系列。

虽然DocTimeRel模型在THYME语料库上的性能已经达到0.8的F1以上，但对于传统的学习方法和神经模型：结构感知器、卷积神经网络(CNNs)和长短期记忆(LSTM)网络来说，CONTAINS任务仍然是一个挑战。困难在于有限的标记数据不足以训练针对复杂语言现象的深层神经模型。最近的研究在这项任务中使用了大量的预训练语言模型Bert及其变体，并通过利用丰富的Bert表示显著提高了CONTAINS分数。但是，该方法有一个非常浪费的输入表示，同一个句子必须处理多次，每个候选关系对一次。

受最近在绿色人工智能(AI)和用于多关系提取的one-pass编码工作（Wang 2019）的启发，我们提出了一种用于CONTAINS（包含）关系提取任务的one-pass编码机制，可以显著提高效率和可扩展性。该体系结构如图1所示。

对原始one-pass关系分类模型进行了三个新的修改。有：

1. 本模型运行在关系抽取设置中，这意味着它必须区分关系和非关系，以及按关系类型分类。
2. 提出了一种用于远距离关系分类的池嵌入算法。原始模型关注的是短距离关系，但临床包含关系往往跨越多个句子，因此对于这样的远距离推理，序列层面的嵌入是必要的。
3. DocTimeRel和Contains的输入实例使用相同的BERT编码，即在一遍编码的基础上增加多任务学习(MTL)。DocTimeRel和CONTAINS是相关的任务。例如，如果医疗事件A发生在DCT之前，而事件B发生在DCT之后，则A和B之间不太可能存在包含关系。MTL提供了一种有效的方式来利用在一个任务中学到的有用知识来使其他任务受益。更重要的是，MTL可以潜在地使用正则化效果，以减轻对特定任务的过拟合。

二、方法

1.双任务

Apache cTAKES用于分割和标记化THYME语料库，以生成实例。每个实例都是一个token序列，在token序列中通过记录其位置信息来标注黄金标事件和时间表达式。使用基于相对距离的实体感知self-Attention，每个实体$E_i$可以通过Bert对其进行编码得到$e_i$。如果实体由多个token组成(许多时间表达式是多个token)，则在最后的BERT层中嵌入相应的token的基础上对其进行平均池化(图1中的local pool)。

对于CONTAINS任务，我们从输入序列中的所有实体对创建候选关系。每个候选由三个嵌入($e_i$,$e_j$和$G$)的串联表示为$\left[G:e_i:e_j\right]$，其中$G$是整个序列上的平均池嵌入，并且不同于[CLS]标记的嵌入。[CLS]token是BERT在每个输入序列开始处插入的常规token，其嵌入被视为整个序列的表示。串联的嵌入被传递到线性分类器以预测CONTAINS、CONTAINED-BY或NONE关系,${\hat{r}}_{ij}$，如在等式(1)中。
P ( r ^ i j ∣ x , E i , E j ) = s o f t max ⁡ ( W L [ G : e i : e j ] + b )    ( 1 ) P\left( \hat{r}_{ij}|x,E_i,E_j \right) =soft\max \left( W^L\le