自然语言处理系列（3）——命名实体识别（NER）详解与实战

最新推荐文章于 2025-05-03 09:07:35 发布

DoYangTan

最新推荐文章于 2025-05-03 09:07:35 发布

阅读量1.3k

点赞数 18

分类专栏：自然语言处理系列文章标签：自然语言处理人工智能

本文链接：https://blog.csdn.net/Azperk/article/details/145920476

版权

自然语言处理系列专栏收录该内容

7 篇文章

订阅专栏

自然语言处理系列（3）——命名实体识别（NER）详解与实战

命名实体识别（Named Entity Recognition, NER）是自然语言处理中的一项基础任务，旨在从文本中识别出具有特定意义的实体，如人名、地名、日期、组织名等。NER 在信息抽取、知识图谱构建、问答系统等应用中具有重要作用。

在本篇博客中，我们将详细介绍命名实体识别的基本概念、常用模型，并通过 Python 示例代码演示如何使用现代 NLP 技术实现 NER。

1. 命名实体识别的基本概念

命名实体识别任务的目标是将文本中的实体分类为预定义的类别，常见的实体类别包括：

人名（PERSON）
地名（LOCATION）
组织名（ORGANIZATION）
日期（DATE）
时间（TIME）
数字（MONEY, PERCENT）

例如，在以下句子中：

“苹果公司总部位于美国加利福尼亚州的库比蒂诺市。”

其中，“苹果公司”是一个组织名，“美国”是一个地名，“加利福尼亚州”是一个地名，“库比蒂诺市”是一个地名。

NER 的目标就是从句子中提取出这些实体，并将它们进行分类。

2. NER 常用模型与方法

2.1 传统方法

在深度学习普及之前，NER 主要依赖于基于规则的方法和机器学习模型，如：

基于规则的方法：通过手动编写规则，利用正则表达式等技术识别实体。
条件随机场（CRF）：一种常用的序列标注方法，能够结合上下文信息进行实体识别。

2.2 深度学习方法

近年来，深度学习方法在 NER 任务中取得了显著进展，特别是基于 LSTM 和 BERT 等预训练模型的方式，已经成为 NER 任务的主流方法。

2.2.1 使用 LSTM 进行 NER

LSTM 是一种常用的循环神经网络（RNN），在序列标注任务中表现优异。以下是使用 LSTM 实现命名实体识别的简要步骤：

词嵌入（Word Embedding）：将词语映射到连续的向量空间。
LSTM 网络：处理序列数据，捕捉上下文信息。
CRF 层：通过 CRF 层进行解码，输出每个词的标签。

2.2.2 使用 BERT 进行 NER

BERT（Bidirectional Encoder Representations from Transformers）是一个预训练的深度学习模型，在多种 NLP 任务中取得了优异的性能。通过微调（Fine-tuning）BERT，我们可以非常有效地完成 NER 任务。

3. 实战：使用 Hugging Face 提供的 BERT 模型进行 NER

我们将使用 Hugging Face transformers 库来实现命名实体识别。该库提供了许多预训练的 BERT 模型，可以直接应用到 NER 任务中。

3.1 安装所需库

pip install transformers
pip install torch

3.2 使用 BERT 进行 NER

from transformers import BertTokenizer, BertForTokenClassification
from transformers import pipeline

# 加载预训练的 BERT 模型和分词器
tokenizer = BertTokenizer.from_pretrained('dbmdz/bert-large-cased-finetuned-conll03-english')
model = BertForTokenClassification.from_pretrained('dbmdz/bert-large-cased-finetuned-conll03-english')

# 创建 NER pipeline
nlp_ner = pipeline("ner", model=model, tokenizer=tokenizer)

# 示例文本
text = "苹果公司总部位于美国加利福尼亚州的库比蒂诺市。"

# 进行命名实体识别
ner_results = nlp_ner(text)

# 输出识别结果
for entity in ner_results:
    print(f"实体: {entity['word']}, 类别: {entity['entity']}, 分数: {entity['score']:.4f}")

3.3 输出示例

实体: 苹果, 类别: B-ORG, 分数: 0.9986
实体: 公司, 类别: I-ORG, 分数: 0.9971
实体: 美国, 类别: B-LOC, 分数: 0.9991
实体: 加利福尼亚, 类别: B-LOC, 分数: 0.9983
实体: 州, 类别: I-LOC, 分数: 0.9989
实体: 库比蒂诺市, 类别: B-LOC, 分数: 0.9992

可以看到，BERT 能够非常准确地识别文本中的实体，并将它们标记为对应的类别。

4. 小结

本文介绍了命名实体识别（NER）的基本概念和方法，重点讲解了如何使用 BERT 模型进行 NER 实践。通过 Hugging Face 提供的预训练模型，我们可以轻松实现高效的命名实体识别。随着预训练模型的不断进步，NER 的准确性和效率也得到了显著提高。

在后续的博客中，我们将继续探讨如何结合其他技术，如依存句法分析、关系抽取等，进一步提升 NLP 任务的效果。

参考文献

Devlin, J., Chang, M. W., Lee, K., & Toutanova, K. (2018). “BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding.” arXiv:1810.04805.
Lample, G., Ballesteros, M., Subramanian, S., Kawakami, K., & Dyer, C. (2016). “Neural Architectures for Named Entity Recognition.” NAACL 2016.