正则表达式要跑 5 天，所以我做了个工具，只跑 15 分钟。_正则表达式15分钟执行一次

dia057 | Unsplash

当开发人员使用文本时，他们通常需要先清理它。有时是替换关键词，就像用“JavaScript”替换“Javascript”一样。其它时候，我们只想知道文档中是否提到了“JavaScript”。

像这样的数据清理是大多数处理文本的数据科学项目的标准任务。

数据科学始于数据清理。

最近我有一项非常类似的工作。我在 Belong.co 担任数据科学家，其中有一半工作是在做自然语言处理。

当我在我们的文档语料库中训练 Word2Vec 模型时，它最初会把同义词当成近似术语给出。 比如“Javascripting”变成了“JavaScript”的近似术语。

为了解决这事，我编写了一个正则表达式（Regex）来用标准化名称替换所有已知的同义词。比如将“JavaScripting”替换成“Javascript”。正则表达式解决了这一个问题，但创造了另一个问题。

有些人在面对一个问题时会想
“知道了，我该使用正则表达式。”现在他们有两个问题了。

以上引用来自 stack-exchange 的问题，说的就是我这种。

事实证明，如果要搜索和替换的关键词数量在 100 个以内，正则表达式会很快。但我的语料库有超过 2 万个关键词和 300 万个文件。

当我对我的正则表达式代码进行基准测试时，我发现它跑一次要花 5 天。

哦，恐怖

自然的解决方案是并行运行。但是，当我们的数量级达到文档千万、关键词十万时，这将无济于事。**必须有更好的方法！**我开始寻找…

我在办公室和 Stack Overflow 上问了问 —— 收获了一些建议。Vinay Pandey，Suresh Lakshmanan 和 Stack Overflow 指出了称为 Aho-Corasick 算法的美妙算法，以及 Trie 数据结构方法。我寻找已有的解决方案，但找不到多少。

所以我编写了自己的实现，FlashText 诞生了。

在我们了解什么是 FlashText 以及它是如何工作的之前，让我们看看它的搜索性能：

底部的红线是 FlashText 搜索所花费的时间

上面显示的图表是 1 个文档时编译过的正则表达式与 FlashText 的比较。随着关键词数量的增加，正则表达式所用的时间几乎呈线性增长，但 FlashText 对此并不敏感。

**FlashText 将运行时间从 5 天减少到 15 分钟!! **

这个好 😃

这是 FlashText 做替换时的计时：

底部的红线是 FlashText 用于替换的时间

用于上述基准测试的代码链接在此，结果链接在此。

那么什么是 FlashText？

FlashText 是我在 GitHub 上开源的一个 Python 库。它在提取关键词和替换上都很高效。

要使用 FlashText，首先必须传入一个关键词列表。此列表将在内部用于构建 Trie 字典。然后传入一个字符串，并说明是要替换还是搜索。

**替换**会创建一个替换了关键词的新字符串。**搜索**会返回字符串中找到的关键词列表。在运行过程中，输入的字符串只会被扫描一遍。

以下是一位满意的用户对这库的看法：

@RadimRehurek 是 @gensim_py 的创建者。

为什么 FlashText 这么快？

我们试着用一个例子来理解这部分。假设我们有一个句子，其中包含 3 个单词 I like Python，以及一个包含 4 个单词 {Python，Java，J2ee，Ruby} 的语料库。

如果我们从语料库中取出每个单词，并检查它是否存在于句子中，则需要 4 次尝试。

'Python' 在句子中吗？
'Java' 在句子中吗？
...
复制代码

如果语料库有 n 个词，它就会重复 n 次。每个搜索步骤 <word> 在句子中吗？ 都要独自花费时间。这就是正则表达式匹配中发生的事情。

还有另一种方法与第一种方法相反：对于句子中的每个单词，检查它是否存在于语料库中。

'I' 在语料库中吗？
'like' 在语料库中吗？
'Python' 在语料库中吗？
复制代码

如果句子中有 m 个词，它就会重复 m 次。在这种情况下，它所花费的时间仅取决于句子中的单词数量。而 <word> 在语料库中吗？ 这一步可以使用字典查找快速完成。

FlashText 算法基于第二种方法。其灵感来自 Aho-Corasick 算法和 Trie 数据结构。

它的工作方式是：
首先，使用语料库创建 Trie 词典。看起来有点像这样：

（1）Python所有方向的学习路线（新版）

这是我花了几天的时间去把Python所有方向的技术点做的整理，形成各个领域的知识点汇总，它的用处就在于，你可以按照上面的知识点去找对应的学习资源，保证自己学得较为全面。

最近我才对这些路线做了一下新的更新，知识体系更全面了。

（2）Python学习视频

包含了Python入门、爬虫、数据分析和web开发的学习视频，总共100多个，虽然没有那么全面，但是对于入门来说是没问题的，学完这些之后，你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。

（3）100多个练手项目

我们在看视频学习的时候，不能光动眼动脑不动手，比较科学的学习方法是在理解之后运用它们，这时候练手项目就很适合了，只是里面的项目比较多，水平也是参差不齐，大家可以挑自己能做的项目去练练。

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
)

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化学习资料的朋友，可以戳这里无偿获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！