基于Python的自然语言处理系列（29）：spaCy + Pipeline

1. 介绍

        在前面的文章中，我们介绍了如何使用 spaCy 进行基本的自然语言处理任务，如分词、词性标注、命名实体识别等。spaCy 强大的地方在于它的流水线（Pipeline）机制，这使得所有的处理都可以被模块化和自动化。流水线本质上是一系列管道（Pipes），这些管道用于逐步处理文本并提取信息。在本篇文章中，我们将详细探讨 spaCy 的流水线机制，并学习如何创建和自定义自己的管道。

什么是 Pipeline？

        Pipeline 是一组管道（Pipes）的顺序组合，每个管道负责处理数据的一部分，输出传递给下一个管道。en_core_web_X 中的预训练模型已经包含了多个常见的管道，比如分词（Tokenization）、句子划分（Sentencizer）、词性标注（POS Tagging）和命名实体识别（NER）等。

        更好的是，spaCy 允许我们添加、训练和定制管道以适应具体需求！在本文中，我们首先会检查预训练模型中的流水线结构，然后逐步创建自己的流水线。

2. 检查预构建 Pipeline

        首先，让我们加载 spaCy 中的小型英文模型 en_core_web_sm，并查看其中的管道。

import spacy
nlp = spacy.load("en_core_web_sm")

        使用 analyze_pipes() 方法可以显示当前流水线中各个管道的详细信息，包括每个管道的名称及其处理顺序。

analysis = nlp.analyze_pipes(pretty=True)
print(analysis)

        每个管道的执行顺序对于处理结果有着重要的影响，稍后我们将看到如何自定义这些管道的顺序。

3. 如何添加预构建的管道

        在很多情况下，使用预构建的 spaCy 模型可能满足不了特定需求。例如，你可能只需要一个简单的管道（如句子分割器），不需要包含所有默认管道。此时，我们可以通过创建一个空白模型并向其添加所需的管道来实现目标。

3.1 创建空白模型并添加管道

        我们可以从一个空白的 spaCy 模型开始，并为其添加 sentencizer 管道，这只负责句子划分。

nlp = spacy.blank("en")
nlp.add_pipe('sentencizer')

# 查看管道
nlp.analyze_pipes(pretty=True)

        接着，我们可以使用这个简单的模型处理文本：

with open ("data/wiki_us.txt", "r") as f:
    text = f.read()

doc = nlp(text)
print(len(list(doc.sents)))

3.2 与 en_core_web_sm 的对比

        现在我们加载预构建的 en_core_web_sm 模型并执行同样的句子划分操作，比较处理时间。

nlp2 = spacy.load("en_core_web_sm")
nlp2.max_length = 5278439  # 增加文本处理的最大长度

# 处理文本
doc2 = nlp2(text)
print(len(list(doc2.sents)))

        我们会发现空白模型加上句子分割器的处理速度明显更快。因此，定制模型可以根据需求显著提升性能。

4. 使用 EntityRuler 添加规则

        spaCy 提供了一种基于规则的命名实体识别（NER）方式，称为 EntityRuler。EntityRuler 允许我们定义一组模式，并通过这些模式自动标注实体。

4.1 基本使用

        我们首先加载一个预构建的小型模型，并尝试对样本文本进行实体识别：

import spacy

nlp = spacy.load("en_core_web_sm")
text = "Asian Institute of Technology, founded in 1959, situated 40km north of Bangkok, Thailand, near Rangsit ."
doc = nlp(text)

# 提取实体
for ent in doc.ents:
    print(ent.text, ent.label_)

4.2 添加新的规则

        现在我们通过 EntityRuler 教会模型识别新的实体。在本例中，我们将告诉模型将“Rangsit”识别为一个地点（LOC），而不是默认的地理政治实体（GPE）：

# 添加 EntityRuler 管道
ruler = nlp.add_pipe("entity_ruler")

# 定义规则
patterns = [{"label": "LOC", "pattern": "Rangsit"}]
ruler.add_patterns(patterns)

# 处理文本
doc = nlp(text)

# 提取实体
for ent in doc.ents:
    print(ent.text, ent.label_)

        执行上述代码后，如果结果没有变化，这是因为 EntityRuler 被添加到了流水线的末尾，默认情况下 NER 管道已经标注了所有实体。因此，我们需要调整流水线的顺序。

4.3 调整管道顺序

        我们可以将 EntityRuler 放到 NER 之前，以确保它优先执行：

nlp = spacy.load("en_core_web_sm")
ruler = nlp.add_pipe("entity_ruler", before="ner")
ruler.add_patterns(patterns)

# 查看管道顺序
nlp.analyze_pipes(pretty=True)

        此时，EntityRuler 被正确添加到 NER 之前，运行结果将如预期一样。

5. 复杂的 EntityRuler 使用

    EntityRuler 支持复杂的规则匹配，包括使用正则表达式等。在下面的例子中，我们将识别电话号码。

import spacy

nlp = spacy.blank("en")
ruler = nlp.add_pipe("entity_ruler")

patterns = [{"label": "PHONE_NUMBER", "pattern": [{"ORTH": "("}, {"SHAPE": "ddd"}, {"ORTH": ")"}, {"SHAPE": "ddd"}, {"ORTH": "-", "OP": "?"}, {"SHAPE": "dddd"}]}]
ruler.add_patterns(patterns)

text = "This is a sample number (555) 555-5555."
doc = nlp(text)

for ent in doc.ents:
    print(ent.text, ent.label_)

6. 使用 Matcher 进行匹配

        除了 EntityRuler，spaCy 还提供了 Matcher 用于模式匹配。我们可以通过 Matcher 提取符合特定模式的文本片段。以下是一个简单的例子，提取电子邮件地址：

from spacy.matcher import Matcher

nlp = spacy.load("en_core_web_sm")
matcher = Matcher(nlp.vocab)

# 匹配电子邮件地址
pattern = [{"LIKE_EMAIL": True}]
matcher.add("EMAIL_ADDRESS", [pattern])

doc = nlp("This is an email address: wmattingly@aol.com")
matches = matcher(doc)

for match_id, start, end in matches:
    print(doc[start:end].text)

    Matcher 还可以通过指定词性等特征来进行更复杂的匹配。

结语

        在这篇文章中，我们深入探讨了 spaCy 的 Pipeline 机制，并通过实例演示了如何创建和自定义管道。通过掌握 spaCy 的流水线结构，我们不仅能够利用现有的功能进行高效的自然语言处理，还可以根据项目需求添加、修改或优化各类管道组件，如 EntityRuler 和 Matcher 等。通过这些功能，我们能够快速、精准地处理各种文本数据，尤其是在需要复杂的模式匹配或规则定义时，spaCy 为我们提供了极大的灵活性。

        除了 Pipeline 的基础知识外，我们还探索了如何通过简单的规则和预定义的模式来优化命名实体识别和文本匹配，这些方法在处理特定领域或定制任务时非常实用。通过合理组合规则匹配和预训练模型的强大能力，你可以有效提升模型的表现，并加速处理流程。

        在下一篇文章中，我们将继续探讨更高级的 Pipeline 定制方法，特别是如何结合正则表达式（Regex）与自定义管道（Custom Pipeline）来实现更加复杂的文本处理需求。正则表达式的强大之处在于它能够灵活匹配复杂的文本模式，而与 spaCy 的自定义管道结合使用时，能够进一步扩展 spaCy 的应用场景。通过学习这些内容，你将能够构建出功能强大的 NLP 解决方案，并更好地应对多样化的文本处理挑战。

        欢迎继续关注我们的系列文章，让我们一起深入探索自然语言处理的更多可能性！

如果你觉得这篇博文对你有帮助，请点赞、收藏、关注我，并且可以打赏支持我！

欢迎关注我的后续博文，我将分享更多关于人工智能、自然语言处理和计算机视觉的精彩内容。

谢谢大家的支持！