《Coreference Resolution with Entity Equalization》阅读笔记

这篇文章来自ACL (1) 2019: 673-677，其研究的问题是实体共指消解任务。作者任务，现有的基于pair-wise model缺乏全局信息，因此提出通过Entity Equalization的方法来弥补全局信息，从而提升模型的性能。

作者的工作是基于Lee等人在2017、2018的两项工作。Lee等人（2017）提出了一种基于rank model的共指消解模型，然后为了进一步细化span的表达，他们在2018年提出了一种基于注意力机制的近似全局信息集成方法：对当前span的先行词集合计算一个概率分布，然后基于这个概率分布对先行词的特征进行加权求和，然后通过一个门控机制来控制信息的流入，从而获得更加细粒度的span的表达，如下所示：



但是，作者认为这种方法仍然不能很好地获取全局信息，因此提出了Entity Equalization方法：将与span具备共指关系的mention作为全局信息来融入当前span的特征表达中，具体实现上则是直接将与该span具备共指关系的mention的特征向量相加，如下所示：

从作者的实验结果来看，模型性能的提升主要来自于使用BERT代替原有的ELMo。Entity Equalization的使用可以进一步提升模型效果，但提升的幅度有限，只提高了0.24个百分点。

Entity Equalization是利用cluster中的其它共指的mention的信息来丰富当前mention的表达，这种思想在《Revisiting Joint Modeling of Cross-documentEntity and Event Coreference Resolution》也得到了体现。