指代消解评价指标(共指消解评测算法)

共指消解的评价方法和算法非常重要,它不但可以给出不同系统之间性能优劣的指标,同时能为进一步提高系统性能指明方向。一个好的用于评价共指消解性能的标准应该具备两点一是辨别能力二是解释能力。前者是指能够判断出系统共指关系消解处理好坏的能力后者是指具备对评价结果合理直观解释的能力。

MUC评测算法

MUC-6算法是一种基于链(link-based)的评价标准算法,曾广泛用于MUC会议的指代消解任务。算法定义了两个术语"key"和"response"。key是指手工标注的共指链参照标注共指链；response是指由某一参评系统输出的共指链系统输出共指链。同时,定义等价类为共指链的闭包，算法基本思路如下：
首先,以$S$表示由生成的一个共指类集，以$R_1,...,R_m$表示由response生成的等价类,然后在$S$上定义如下函数:

• P(S)：一个相对于输出共指链的的划分集。在划分集中的每一个的子集都是通过将那些与有重益关系的输出共指链,与作交集运算后产生。需要注意的是由产生的等价类可能包含有关系不明确的单集,即在中有标注但未在中出现的元素集,亦即在评测会议中定义的漏标情况。

$TODO........$