敏感词过滤算法设计——AC自动机详解

简单介绍

AC自动机是一种多模式串的匹配算法，相较于KMP算法在运行多模式串的匹配时只需一次遍历即可。先通过预处理所要查找的所有子序列并建立一颗字典树，通过遍历母序列时查找字典树进行操作。建立好树后对母串T进行遍历，此时目的是找到子串P中的单词并统计他们出现的位置，ac自动机算法对母串T进行多模式匹配更能节省时间。AC自动机算法的终点和kmp算法一样都是对子串的预处理，但关键在于字典树和fail指针的构建。

Ⅰ 引入

我们常常遇到敏感词过滤功能，用来过滤掉用户输入的一些不合时宜的内容，这个功能是怎么实现的呢？

其实，这些功能的最基本的原理就是字符串匹配算法，也就是通过维护一个敏感词的词典，当用户输入的一段文字后，通过字符串匹配算法，来查找用户输入的这段文字，是否包含敏感词，如果有，就用 * 把它替代掉。

很多种字符串匹配算法有很多，它们都可以处理这个问题，但是对于访问量巨大的网站来说，比如淘宝，用户每天的评论数有几亿甚至几十亿。这个时候，我们对敏感词过滤系统的性能要求就要很高。如果一个用户输入内容之后要几秒后才能发出去，那这个软件可能就没人用了。

要实现一个高性能的敏感词过滤系统，就要用到我们这篇文章要讲的