NeuralCoref: python的共指消解工具教程

转载地址

https://blog.csdn.net/blmoistawinde/article/details/81782971

共指消解

首先简要地说说共指消解是什么,有什么用处。假设机器正在阅读一个这样的文本:

克劳德·莫奈是印象派代表人物和创始人之一。
他最重要的风格是改变了阴影和轮廓线的画法。

如果机器想要从这段话中了解到关于莫奈风格的知识，它首先必须知道，第二句话中的“他”指的就是莫奈。弄清代词的指代就是共指消解中的一个典型任务。

关于共指消解，更详细的概念可以参照：
https://blog.csdn.net/qjc937044867/article/details/51694547

下面直接引出解决这个问题的一个开源工具——NeuralCoref。

NeuralCoref

Github官网：https://github.com/huggingface/neuralcoref
NeuralCoref是使用时下先进神经网络技术完成指代消解任务的一个工具。它不是一个独立的python库， 而是另一个高速强大的python自然语言处理库——spaCy的一个拓展包，因此，要使用这个工具首先要安装spaCy:

pip install spacy

然后，再安装NeuralCoref支持的几个模型，下面的例子中，我会使用面向英语的小模型，安装方法如下：

pip install https://github.com/huggingface/neuralcoref-models/releases/download/en_coref_sm-3.0.0/en_coref_sm-3.0.0.tar.gz

如果需要更大的词汇量和准确率，把链接中的sm改成md/lg就可以下载对应的中模型和大模型。

基本用法

下面用jupyter notebook展示其基本用法：

height="2000" src="https://nbviewer.jupyter.org/github/blmoistawinde/hello_world/blob/master/NeuralCoref_basic.ipynb" width="720">

下一篇文章里，我会再尝试共指消解的一个有趣应用：
NeuralCoref: 用指代消解来做一个“能多轮对话的问答对话机器人”