【数据结构与算法】-＞算法-＞AC自动机-＞敏感词过滤功能要如何实现？

Ⅰ 前言

很多支持用户发表文本内容的网站或者软件，大都会有敏感词过滤功能，用来过滤掉用户输入的一些淫秽、反动、谩骂等内容，这个功能是怎么实现的呢？

其实，这些功能的最基本的原理就是字符串匹配算法，也就是通过维护一个敏感词的词典，当用户输入的一段文字后，通过字符串匹配算法，来查找用户输入的这段文字，是否包含敏感词，如果有，就用 * 把它替代掉。

我在之前的文章中，讲过很多种字符串匹配算法，它们都可以处理这个问题，但是，对于访问量巨大的网站来说，比如淘宝，用户每天的评论数有几亿甚至几十亿。这个时候，我们对敏感词过滤系统的性能要求就要很高。如果，一个用户输入内容之后要几秒后才能发出去，那这个软件可能就没人用了。

要实现一个高性能的敏感词过滤系统，就要用到我们这篇文章要讲的多模式串匹配算法。

在以前的文章里，我讲了四个单模式串匹配算法，还有一个多模式串匹配算法就是 Trie 树。有兴趣的同学可以跳转过去看。

【数据结构与算法】-＞算法-＞字符串匹配基础（上）-＞BF 算法 & RK 算法

【数据结构与算法】-＞算法-＞字符串匹配基础（中）-＞BM算法-＞KMP 三倍性能的强大算法

【数据结构与算法】-＞算法-＞字符串匹配基础（下）-＞KMP 算法

【数据结构与算法】-＞数据结构-＞Trie树-＞如何实现搜索引擎的关键词提示功能？

Ⅱ 用 Trie 树实现敏感词过滤

再总结一下这两个概念，单模式串匹配算法，就是一个模式串和一个主串之间进行匹配，也就是在一个主串中查找一个模式串。多模式串匹配算法，就是在多个模式串中和一个主串之间做匹配，也就是说，在一个主串中查找多个模式串。

尽管，单模式串匹配算法也能完成多模式串匹配的工作，比如过滤敏感词，我们可以针对每个敏感词，通过但模式匹配算法（比如 KMP 算法）与用户输入的文字内容进行匹配。但是，这样做的话，每个匹配过程都需要扫描一遍用户输入的内容。整个过程下来就要扫描很多遍用户输入的内容。如果敏感词很多，假如有上千个字符，那我们就要扫描几千遍这样的输入内容。很显然，这样的处理思路比较低效。

与单模式串匹配算法相比，多模式匹配算法在这个问题的处理上就很高效了。它只需要扫描一遍主串，就能在主串中一次性查找多个模式串是否存在，从而大大提高匹配效率。我们知道，Trie 树就是一种多模式串匹配算法，所以我们可以用 Trie 树来实现敏感词过滤功能。

我们可以对敏感词字典进行预处理，构建成 Trie 树结构。这个预处理的操作只需要做一次，如果敏感词字典动态更新了，比如删除、添加了一个敏感词，那我们只需要动态更新一下 Trie 树就可以了。

当用户输入一个文本内容后，我们把用户输入的内容作为主串，从第一个字符开始，在 Trie 树中匹配。当匹配到 Trie 树的叶子节点，或者中途遇到不匹配字符的时候，我们将主串的开始匹配位置后移一位，也就是从第一个字符的下一个字符开始，重新在 Trie 树 中匹配。

基于 Trie 树的这种处理方法，有点类似单模式串匹配中的 BF 算法。我们知道，单模式串匹配算法中，KMP 算法对 BF 算法进行改进，引入了一个 next 数组，让匹配失效时，尽可能将模式串往后多移动几位。借鉴单模式串的优化改进方法，能否对多模式串 Trie 树进行改进，进一步提高 Trie 树的效率呢？这就要用到 AC 自动机算法 了。

Ⅲ AC 自动机原理及实现

AC 自动机算法，全称是 Aho-Corasick 算法。其实， Trie 树跟 AC 自动机之间的关系，就像单模式串匹配中朴素的串匹配算法（BF）和 KMP 算法之间的关系一样，只不过前者针对的是多模式串而已。所以，AC 自动机实际上就是在 Trie 树之上，加了类似 KMP 算法的 next 数组，只不过此处的 next 数组构建在树上。 用代码实现就是下面的样子👇

	class AcNode {
   
		char data;
		AcNode[] children = new AcNode[SIZE];
		boolean isEndingChar = false;
		int length = -1; 	//当isEndingChar = true时。记录模式串长度
		AcNode fail;	//失败指针
		
		AcNode(char data) {
   
			this.data = data;
		}
	}

所以 AC 自动机的构建，包含两个操作：

1. 将多个模式串构建成 Trie 树；
2. 在 Trie 树上构建失败指针（相当于 KMP 中的失效函数 next 数组）。

关于如何构建 Trie 树，在我讲解 Trie 树的文章中已经分析过了，大家可以跳转去看。

【数据结构与算法】-＞数据结构-＞Trie树-＞如何实现搜索引擎的关键词提示功能？

这里我们就重点看一下在构建好 Trie 树之后，如何在它之上构建失败指针。

我还是用一个例子来讲解。这里有 4 个模式串，分别是 c，bc，bcd，abcd；主串是 abcd。

Trie 树中的每一个节点都有一个失败指针，它的作用和构建过程，跟 KMP 算法中的 next 数组极其相似。所以要理解这里的构建，你最好先理解 KMP 算法中的 next 数组的构建过程。

【数据结构与算法】-＞算法-＞字符串匹配基础（下）-＞KMP 算法

假设我们沿 Trie 树走到 p 节点，也就是下图中的紫色节点，那 p 的失败指针就是从 root 走到紫色节点形成的字符串 abc，跟所有模式串前缀匹配的最长可匹配后缀子串，就是箭头指的 bc 模式串。

这里的最长可匹配后缀子串我再多解释一下。字符串 abc 的后缀子串有两个，一个是 bc，一个属 c，我们把它们与其他模式串匹配，如果某个后缀子串可以匹配某个模式串的前缀，那我们 就把这个后缀子串叫作可匹配后缀子串。

我们从可匹配后缀子串中，找出最长的一个，就是最长可匹配后缀子串。我们可以将 p 节点的失败指针指向那个最长匹配后缀子串对应的模式串的前缀的最后一个节点，就是下图中箭头指向的节点。👇

计算每个节点的失败指针这个过程看起来有些复杂。其实，如果我们把树中相同深度的节点放到同一层，呢么某个节点的失败指针只有可能出现在它所在层的上一层。

我们可以像 KMP 算法那样，当我们要求某个节点的失败指针的时候，我们通过已经求得的、深度更小的那些节点的失败指针来推导。也就是说，我们可以逐层依次来求解每个节点的失败指针。所以，失败指针的构建过程，是一个按层遍历树的过程。

首先 root 的失败指针为 null 。当我们已经求得某个节点 p 的失败指针之后，如何寻找它的子节点的失败指针呢？

我们假设节点 p 的失败指针指向节点 q，我们看节点 p 的子节点 pc 对应的字符，是否也可以在节点 q 的子节点中找到。如果找到了节点 q 的一个子结点 qc，对应的字符跟 pc 对应的字符相同，则将节点 pc 的失败指针指向节点 qc。

如果节点 q 中没有子节点的字符等于节点 pc 包含的字符，则令 q = q->fail（fail 表示失败指针），然后继续上面的查找，直到 q 是 root 为止，如果还没有找到相同字符的子节点，就让节点 pc 的失败指针指向 root。

我将构建失败指针的代码贴上，大家可以对着讲解看看。

package com.tyz.string_matching.core;

import java.util.LinkedList;
import java.util.Queue;

/**
 * AC自动机的实现
 * @author Tong
 */
public class AhoCorasick {
   
	public static final int SIZE = 26;
	
	private AcNode root;

	public AhoCorasick() {
   
		this.root = new AcNode('/');
	}
	
	/**
	 * 实现Trie树的插入功能
	 * @param text 要插入的字符串
	 */
	public void insert(char[] text) {
   
		AcNode p = this.root;
		for (int i = 0; i < text.length; i++) {
   
			int index = text