知识图谱---实体抽取|命名实体识别|NER

实体抽取（命名实体识别，NER）综述

引言

实体抽取是自然语言处理（NLP）领域的一个重要任务，旨在从非结构化的文本数据中自动识别并分类具有特定意义的实体。这些实体可以是人名、地名、组织名、时间表达式、货币值等。随着深度学习技术的发展，NER已经成为许多高级应用的基础组件，如信息检索、问答系统和机器翻译。

3.1 实体识别基本知识

1. 什么是命名实体识别（NER）

命名实体识别（Named Entity Recognition, NER），也称作“实体识别”，是一种信息提取方法，其目的是识别文本中的命名实体，并将它们归类到预定义的类别中。例如，在句子“李华在2024年访问了北京。”中，“李华”是人名，“北京”是地名，“2024年”是时间表达式。

实体是承载语义信息的基本单元，对于理解文本内容至关重要。常见的实体类别包括但不限于：人名、地名、机构名、时间、日期、货币、百分比等。

2. 命名实体识别的方法

2.1 基于规则的方法

这种方法依赖于专家构建的规则模板，通过匹配特定模式来识别实体。它适合半结构化或规范性较强的文本，比如新闻报道或法律文件。虽然简单快速，但规则系统的维护成本高且难以扩展到新的领域或语言环境。

2.2 基于传统机器学习的方法

早期的NER主要依靠统计机器学习方法，这需要人工选择特征，如词语上下文、词缀、词性标注等，并使用模型如支持向量机（SVM）、隐马尔科夫模型（HMM）或条件随机场（CRF）。该方法较为灵活，但依赖于高质量的人工设计特征和自然语言工具链。

2.3 基于深度学习的方法

近年来，基于深度学习的方法成为主流，特别是结合了双向长短期记忆网络（BiLSTM）与条件随机场（CRF）的架构。这类模型能够自动学习复杂的特征表示，无需大量手工特征工程，同时提供了更高的准确率和召回率。然而，它们对大规模标注数据的需求构成了挑战。

3.2 基于规则实现NER

基于规则的NER方法尽管存在局限，但在某些特定场景下仍然有效。例如，通过建立领域字典进行匹配或者利用正则表达式定义规则，可以在一定程度上满足业务需求。不过，由于规则系统的复杂性和维护难度，这种方法在现代应用中逐渐被更先进的技术所取代。

3.3 基于深度学习模型实现NER

BiLSTM+CRF模型介绍

BiLSTM+CRF是一种流行的序列标注模型，用于解决NER问题。BiLSTM部分负责捕捉输入序列的上下文信息，而CRF层则优化标签之间的转移关系，确保预测结果的一致性和准确性。

• BiLSTM：双向长短期记忆网络允许模型同时获取正向和反向的信息流，从而更好地理解文本上下文。
• Linear层：执行线性变换以计算发射得分。
• CRF：接收来自BiLSTM的发射分数，并考虑标签间的转移概率，最终输出最优标签路径。

CRF原理

条件随机场（Conditional Random Fields, CRF）是一种无向图模型，广泛应用于序列标注任务。CRF引入了发射分数和转移分数的概念，前者由BiLSTM生成，后者用来建模标签间的转换关系。损失函数包含单条真实路径的分数以及所有可能路径的归一化项，确保模型学习到最佳的标签序列。

Viterbi算法

Viterbi算法是一个动态规划算法，主要用于寻找篱笆型图（如HMM）中最优的状态序列。它通过迭代计算每个节点的最佳累积值，并记录相应的路径，直到找到全局最优解。相比于前向算法，Viterbi专注于找出单个最优路径，而不是评估所有可能路径的概率总和。