李宏毅 2020 深度学习与人类语言处理 DLHLP-Coreference Resolution-p21

前言

本文是李宏毅 2020 深度学习与人类语言处理 DLHLP 课程中 Coreference Resolution 指代消解部分的笔记。

https://speech.ee.ntu.edu.tw/~hylee/dlhlp/2020-spring.html 课程官网

李宏毅老师2020新课深度学习与人类语言处理_哔哩哔哩_bilibili -p21 哔哩哔哩搬运

内容有待整理完善。

正文

图源：李宏毅 深度学习与人类语言处理

Coreference Resolution 相对于前面课程所介绍的分类属于一个特别的任务。

https://web.stanford.edu/~jurafsky/slp3/ Speech and Language Processing (3rd ed. draft)

指代消解：张三瞪着李四举起他的拳头说：“它今天不槌倒高墙，他不放下。”，其中的他与它各指什么？

上例中，张三，李四，他都属于 Mention，张三和他指代同一对象，叫做 corefer，李四只指代一次，叫做 singleton，“张三”先出现，叫做antecedent（先行词），“他”后出现，叫做anaphor。

更细致的任务描述：

1. All the mentions are labeled. (Sometimes singletons are ignored).

2. All mentions are grouped into clusters.

比如：Cluster1：{张三，他} Cluster2：{他的拳头，它，它}

模型框架：

step1：Mention Detection：把一个span送入模型，二分类，是否是Mention。如果一个序列长N个token，则有 N（N-1）/2 个可能的 span。

step2: Mention Pair Detection: 把前面得到的Mention 两两送入模型，分类判断是否是一对。

End to End 的方法：两个 span 扫描输入，然后判断两个 span 是不是都是 mention，且是一对。复杂度是 N^4 。

如果要将Coreference Resolution问题做好，需要 Mention Ranking Model，参见https://web.stanford.edu/~jurafsky/slp3/22.pdf

图源：李宏毅 深度学习与人类语言处理

通过 BERT 等提取出 Embedding，然后两个 Span 提取出特征，判断他们是不是 Mention，以及这两个是否是一对，将三个分数组合（通常就是相加，也可以送入神经网络，但是没有这么做），得出的结果超出阈值就是一个mention pair。不用担心一个span看不到全局，BERT在提取Embedding的时候就是顾全局的。

怎么提取 Span Representation：将Span的每个token的Embedding送入一个注意力网络，得到一个权重，最后将每个Embedding加权求和，得到一个最终的Embedding，接下来这个Embedding与第一个和最后一个token的Embedding，3个Embedding做Concatenation，得到的向量就是 Span Representation。

实作上，train是End2End，但是Infer的时候，可能会先做Mention的提取，Mention分数足够才会做Pair的计算。还有一些技术比如限制Mention长度等，降低计算量。

Seq2Seq，一个ChatBot的方法，例如：输入：梅西多高？输出：官方说法他身高5英尺7英寸。输入：他和C罗谁进球多？这时候机器应当能知道“他”是谁。而Seq2Seq的解法就是，输入三个句子，输出：梅西和C罗谁进球多？ 这就是一个新的解法。

进阶话题：

Global Information：有时机器把 Mr.Lee Lee She 两两配对，但是有背景知识就会知道 Mr.Lee 和 She 必定不会是一个Cluster内。

Unsupervised：将句子中的代名词盖住，让BERT猜代名词是哪个。很多问题，比如 he 是一个 token，消解后是 2 个 token 的情况？