到底如何理解文本？一文读懂命名实体识别（实体消歧和实体统一）_文本实体识别

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

当我们标记好大量数据后，实际上这就是一个分类问题，输入文本词语，输出对应的种类就可以了，那么我们需要构造一个类别数为实体种类的分类器。

二、命名实体识别方法

1.实体识别方法

命名实体识别从早期基于词典和规则的方法，到传统机器学习的方法，后来采用基于深度学习的方法，一直到当下热门的注意力机制、图神经网络等研究方法，命名实体识别技术路线随着时间在不断发展。技术发展趋势如下图所示：

1.1 基于规则和字典的方法

基于规则和字典的方法是最初代的命名实体识别使用的方法，这些方法多采用由语言学家通过人工方式，依据数据集特征构建的特定规则模板或者特殊词典。规则包括关键词、位置词、方位词、中心词、指示词、统计信息、标点符号等。词典是由特征词构成的词典和外部词典共同组成，外部词典指已有的常识词典。制定好规则和词典后，通常使用匹配的方式对文本进行处理以实现命名实体识别。

基于规则的实体识别方法虽然简单，实际上也比较实用，特别是对于一些垂直领域的应用，或者数据量比较少或者没有标签数据的时候。如果我们有一个足够丰富的词典库，那么仅仅根据词库也能做到不错的准确率。另外，基于规则的识别方法是一套非常有效的基准(baseline)。

1.2 基于传统机器学习的方法

在基于机器学习的方法中，命名实体识别被当作是序列标注问题。与分类问题相比，序列标注问题中当前的预测标签不仅与当前的输入特征相关，还与之前的预测标签相关，即预测标签序列之间是有强相互依赖关系的。采用的传统机器学习方法主要包括:隐马尔可夫模型、最大熵、最大熵马尔可夫模型、支持向量机、条件随机场 等。

在这 5 种学习方法中，ME结构紧凑，具有较好的通用性，其主要缺点是训练时间复杂性非常高，甚至导致训练代价难以承受，另外由于需要明确的归一化计算，导致开销比较大。HMM对转移概率和表现概率直接建模，统计共现概率。ME和SVM在正确率上要 HMM高一些，但是HMM在训练和识别时的速度要快一些。MEMM对转移概率和表现概率建立联合概率，统计条件概率，但由于只在局部做归一化容易陷入局部最优。CRF模型统计全局概率，在归一化时考虑数据在全局的分布，而不是仅仅在局部进行归一化，因此解决了MEMM中标记偏置的问题。在传统机器学习中，CRF被看作是命名实体识别的主流模型，优点在于在对一个位置进行标注的过程中CRF可以利用内部及上下文特征信息。

1.3 基于深度学习的方法

随着深度学习的不断发展，命名实体识别的研究重点已转向深层神经网络，该技术几乎不需要特征工程和领域知识。Collobert等学者首次提出基于神经网络的命名实体识别方法，该方法中每个单词具有固定大小的窗口，但未能考虑长距离单词之间的有效信息。为了克服这一限制，Chiu和Nichols提出了一种双向LSTM－CNNs架构，该架构可自动检测单词和字符级别的特征。Ma和Hovy进一步将其扩展到BiLSTM－CNNs－CRF体系结构，其中添加了CRF模块以优化输出标签序列。Liu等提出了一种称为LM－LSTM－CRF的任务感知型神经语言模型，将字符感知型神经语言模型合并到一个多任务框架下，以提取字符级向量化表示。这些端到端模型具备从数据中自动学习的功能，可以很好地识别新实体。

部分学者将辅助信息和深度学习方法混合使用进行命名实体识别。Liu 等在混合半马尔可夫条件随机场的体系结构的基础上加入了Gazetteers 地名词典，利用实体在地名词典的匹配结果作为命名实体识别的特征之一。一些研究尝试在标签级别跨数据集共享信息，Greenberg等提出了一个单一的CRF模型，使用异构标签集进行命名实体识别，此方法对平衡标签分布的领域数据集有实用性。Augenstein 等使用标签向量化表示在任务之间进一步播信息。Beryozkin等建议使用给定的标签层次结构共同学习一个在所有标签集中共享其标签层的神经网络，取得了非常优异的性能。

近年来，在基于神经网络的结构上加入注意力机制、图神经网络、迁移学习、远监督学习等热门研究技术也是目前的主流研究方向。

总体来讲，前两种方法只是作为基准，一般不会作为生产环境下的方法，最常用的方法莫过于基于CRF的识别。

三、实体消歧

1.实体消歧概念

实体消歧的本质是在于一个词很有可能有多个意思，也就是在不同的上下文中所表示的含义不太一样。

2.实体消歧解法

2.1 基于聚类的实体消歧方法

该方法主要是计算实体指称项之间的相似度，采用某种聚类算法对实体指称项聚类，使得聚类结果中每一个类别都对应于一个目标实体上。主要包括基于表层特征的实体指称项相似度计算、
基于扩展特征的实体指称项相似度计算、基于社会化网络的实体指称项相似度计算。

基于表层特征的实体指称项相似度计算：
传统方法多利用表层特征计算相似度，这些方法通常是词袋模型（Bag of Words，BoW）模型的延伸，性能不好。

这类方法都是基于上下文表层特征的关联来计算它们之间的相似度，而没有考虑到上下文特征的内在关联，因此影响聚类效果。

基于扩展特征的实体指称项相似度计算：
利用知识资源提升实体消歧的性能。
最直接的方法：使用知识资源来扩展实体指称项的特征表示。

基于社会化网络的实体指称项相似度计算：
基于社会化网络的实体指称项相似度通常使用基于图的算法，能够充分利用社会化关系的传递性，从而考虑隐藏的关系知识，在某些情况下（特别是结构化数据，eg：论文记录、电影记录等）能够更为准确的实体指称项相似度计算结果。

缺点：只用到上下文中的实体信息，不能完全利用实体指称项的其他上下文信息，因此不能在文本消歧领域取得有竞争力的性能。

2.2 基于实体链接的实体消歧方法

基于实体链接的实体消歧方法：将实体指称项链接到知识库中特定的实体，也称实体链接（Entity Linking）。
实体链接：将一个命名实体的文本指称项（Textual Mention）链接到知识库中对应实体的过程（若不存在对应实体，则将实体指称项链接到空实体NIL）

实体链接的输入包括两部分：

• 目标实体知识库：最常用Wikipedia，或特定领域知识库。
  • 知识库通常包括：实体表、实体的文本描述、实体的结构化信息（eg：属性/属性值对）、实体的辅助性信息（eg：实体类别）；也经常提供额外的结构化语义信息，eg：实体之间的关联
• 待消歧实体指称项及其上下文信息

步骤：

• 链接候选过滤（Blocking）：根据规则或知识过滤大部分指称项不可能指向的实体，仅仅保留少量链接实体候选。
• 实体链接（Linking）：给定指称项及其链接候选，确定该实体指称项最终指向的目标实体。（重点研究）

链接候选过滤方法：
大部分是基于实体指称项词典：通过在字典中记录一个指称项所有可能指向的目标实体来进行链接候选过滤。

传统实体链接方法：使用Wikipedia等知识资源构建指称项词典，包括Wikipedia Entity Name、Wikipedia Redirection Page等。

为了匹配模糊或拼错的指称项，一些基于构词法的模糊匹配也在TAC评测中使用，eg：Metaphone算法和Soft TFIDF算法

实体链接方法：
实体链接方法**选择与指称项具有最高一致性打分的实体作为其目标实体。**现有方法可分为：向量空间模型、主题一致模型、协同实体链接模型、基于神经网络的模型。

2.3 面向结构化文本的实体消歧方法

列表型数据没有上下文描述信息，需要利用实体的类别信息，实体的流行度和列表中的其他信息进行消歧。

四、实体统一

1.实体统一概念

同一个实体有不同的表达方式，有时候需要把不同的表达方式统一为同一种表达方式。

例子：”中华人民共和国“，”中国“都表示同一个意思。如果把实体统一，可以减少一些NLP任务的难度。常见的应用场景是在构建知识图谱中，需要对地名，公司名，专业术语等进行统一。

2.实体统一解法

第一种方法计算相似度方法：

计算两个实体（字符串）之间的相似度，一般使用编辑距离即可，设定阈值，判断是否属于一个实体。

第二种基于规则方法：

举个例子：

1. 腾讯有限公司
2. 腾讯科技有限公司

我们通过人工的设计一些库，或者说是一些词典，这些库包含相同实体的特点：

• 词典1：公司、有限公司、分公司…
• 词典2：北京，天津，上海…
• 词典3：科技，技术…

如果实体中的词出现在库中将其删掉

1. 腾讯有限公司——作为原型，删掉词库中的词后为：腾讯
2. 腾讯科技有限公司 —删掉词库中的词后为：腾讯

这时候判定为相同实体，但是以上两种方法精度不高，人力成本比较高。

第三种基于有监督的学习方法：

还是上面的例子：

1. 腾讯有限公司
2. 腾讯科技有限公司

我们可以将1和2利用特征工程将其转换为特征向量：比如考虑词性，前后单词，词位置等等。

然后输入到一个训练好的分类模型去判断两个实体是否相似。

利用余弦相似度技术衡量相似程度，然后再输入到逻辑回归模型做二分类的计算。

第四种基于图的实体统一方法：

其实每个实体都不是独立的，他们与其他实体是包含一定的联系，如下图所以我们在做实体统一的时候我们考虑到了这种实体关系，也就是根据这种图来做：

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以添加戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！