当开发人员使用文本时,他们通常需要先清理它。有时是替换关键词,就像用“JavaScript”替换“Javascript”一样。其它时候,我们只想知道文档中是否提到了“JavaScript”。
像这样的数据清理是大多数处理文本的数据科学项目的标准任务。
数据科学始于数据清理。
最近我有一项非常类似的工作。我在 Belong.co 担任数据科学家,其中有一半工作是在做自然语言处理。
当我在我们的文档语料库中训练 Word2Vec 模型时,它最初会把同义词当成近似术语给出。 比如“Javascripting”变成了“JavaScript”的近似术语。
为了解决这事,我编写了一个正则表达式(Regex)来用标准化名称替换所有已知的同义词。比如将“JavaScripting”替换成“Javascript”。正则表达式解决了这一个问题,但创造了另一个问题。
有些人在面对一个问题时会想
“知道了,我该使用正则表达式。”现在他们有两个问题了。
以上引用来自 stack-exchange 的问题,说的就是我这种。
事实证明,如果要搜索和替换的关键词数量在 100 个以内,正则表达式会很快。但我的语料库有超过 2 万个关键词和 300 万个文件。
当我对我的正则表达式代码进行基准测试时,我发现它跑一次要花 5 天。
哦,恐怖
自然的解决方案是并行运行。但是,当我们的数量级达到文档千万、关键词十万时,这将无济于事。**必须有更好的方法!**我开始寻找…
我在办公室和 Stack Overflow 上问了问 —— 收获了一些建议。Vinay Pandey,Suresh Lakshmanan 和 Stack Overflow 指出了称为 Aho-Corasick 算法的美妙算法,以及 Trie 数据结构方法。我寻找已有的解决方案,但找不到多少。
所以我编写了自己的实现,FlashText 诞生了。
在我们了解什么是 FlashText 以及它是如何工作的之前,让我们看看它的搜索性能:
底部的红线是 FlashText 搜索所花费的时间
上面显示的图表是 1 个文档时编译过的正则表达式与 FlashText 的比较。随着关键词数量的增加,正则表达式所用的时间几乎呈线性增长,但 FlashText 对此并不敏感。
**FlashText 将运行时间从 5 天减少到 15 分钟!! **
这个好 😃
这是 FlashText 做替换时的计时:
底部的红线是 FlashText 用于替换的时间
那么什么是 FlashText?
FlashText 是我在 GitHub 上开源的一个 Python 库。它在提取关键词和替换上都很高效。
要使用 FlashText,首先必须传入一个关键词列表。此列表将在内部用于构建 Trie 字典。然后传入一个字符串,并说明是要替换还是搜索。
**替换**
会创建一个替换了关键词的新字符串。**搜索**
会返回字符串中找到的关键词列表。在运行过程中,输入的字符串只会被扫描一遍。
以下是一位满意的用户对这库的看法:
@RadimRehurek 是 @gensim_py 的创建者。
为什么 FlashText 这么快?
我们试着用一个例子来理解这部分。假设我们有一个句子,其中包含 3 个单词 I like Python
,以及一个包含 4 个单词 {Python,Java,J2ee,Ruby}
的语料库。
如果我们从语料库中取出每个单词,并检查它是否存在于句子中,则需要 4 次尝试。
'Python' 在句子中吗?
'Java' 在句子中吗?
...
复制代码
如果语料库有 n
个词,它就会重复 n
次。每个搜索步骤 <word> 在句子中吗?
都要独自花费时间。这就是正则表达式匹配中发生的事情。
还有另一种方法与第一种方法相反:对于句子中的每个单词,检查它是否存在于语料库中。
'I' 在语料库中吗?
'like' 在语料库中吗?
'Python' 在语料库中吗?
复制代码
如果句子中有 m
个词,它就会重复 m
次。在这种情况下,它所花费的时间仅取决于句子中的单词数量。而 <word> 在语料库中吗?
这一步可以使用字典查找快速完成。
FlashText 算法基于第二种方法。其灵感来自 Aho-Corasick 算法和 Trie 数据结构。
它的工作方式是:
首先,使用语料库创建 Trie 词典。看起来有点像这样:
(1)Python所有方向的学习路线(新版)
这是我花了几天的时间去把Python所有方向的技术点做的整理,形成各个领域的知识点汇总,它的用处就在于,你可以按照上面的知识点去找对应的学习资源,保证自己学得较为全面。
最近我才对这些路线做了一下新的更新,知识体系更全面了。
(2)Python学习视频
包含了Python入门、爬虫、数据分析和web开发的学习视频,总共100多个,虽然没有那么全面,但是对于入门来说是没问题的,学完这些之后,你可以按照我上面的学习路线去网上找其他的知识资源进行进阶。
(3)100多个练手项目
我们在看视频学习的时候,不能光动眼动脑不动手,比较科学的学习方法是在理解之后运用它们,这时候练手项目就很适合了,只是里面的项目比较多,水平也是参差不齐,大家可以挑自己能做的项目去练练。
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
)
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!