这篇文章来自ACL (1) 2019: 673-677,其研究的问题是实体共指消解任务。作者任务,现有的基于pair-wise model缺乏全局信息,因此提出通过Entity Equalization的方法来弥补全局信息,从而提升模型的性能。
作者的工作是基于Lee等人在2017、2018的两项工作。Lee等人(2017)提出了一种基于rank model的共指消解模型,然后为了进一步细化span的表达,他们在2018年提出了一种基于注意力机制的近似全局信息集成方法:对当前span的先行词集合计算一个概率分布,然后基于这个概率分布对先行词的特征进行加权求和,然后通过一个门控机制来控制信息的流入,从而获得更加细粒度的span的表达,如下所示:
但是,作者认为这种方法仍然不能很好地获取全局信息,因此提出了Entity Equalization方法:将与span具备共指关系的mention作为全局信息来融入当前span的特征表达中,具体实现上则是直接将与该span具备共指关系的mention的特征向量相加,如下所示:
从作者的实验结果来看,模型性能的提升主要来自于使用BERT代替原有的ELMo。Entity Equalization的使用可以进一步提升模型效果,但提升的幅度有限,只提高了0.24个百分点。
Entity Equalization是利用cluster中的其它共指的mention的信息来丰富当前mention的表达,这种思想在《Revisiting Joint Modeling of Cross-documentEntity and Event Coreference Resolution》也得到了体现。