BAT面试题——大文本集合，相似单词归类

最新推荐文章于 2022-03-17 08:30:00 发布

莫荒误

最新推荐文章于 2022-03-17 08:30:00 发布

阅读量487

点赞数

分类专栏： python入门文章标签：正则表达式 python

本文链接：https://blog.csdn.net/weixin_45221012/article/details/105423076

版权

该博客介绍了如何使用正则表达式高效地解决大文本集合中相似单词的归类问题，避免了暴力穷举的高时间复杂度，提供了一种o(n)时间复杂度的解决方案。

摘要由CSDN通过智能技术生成

欢迎关注，敬请点赞！

单词相亲——大文本集合，相似单词归类

问题描述：对于一个文本集合，把相似的单词进行归类。

(相似单词定义：两个单词只有一个字母不一样!)

方法一：暴力穷举法

遍历文本中的每个单词，找出在文本中与其相似的单词，算法的时间复杂度是o(n2)。对于常见的英文词典，差不多有将近20000个单词，那么需要经过4亿次运算，时间惊人，实际行不通。

方法二：正则表达式

从相似单词的特点入手。
‘son’和‘sun’都可以用正则表达式中的‘s.n’来表示，其中‘.’在正则表达式中可以代表任意的符号。

我们使用一个字典结构：key是正则字符串，value：是相似单词的集合。

举个例子：对于单词’son’，那么符合它的正则匹配有：‘.on’、‘s.n’、‘so.’，那么字典中，分别是：key:’.on’，value:‘son’；key:‘s.n’，value:‘son’；key:‘so.’，value:‘son’。对于单词‘sun’，进行同样的计算，同时字典开始更新：key:’.un’，value:‘sun’；key:‘s.n’，value:[‘son’,‘sun’]；key:‘so.’，value:‘son’；key:‘su.’，value:‘sun’。这样遍历文本，最后的时间复杂度是o(n)。

代码：

from collections import defaultdict  #使用了默认字典
import re


words_dict = defaultdict(set)        #词典的value值默认为set（非重复的相似单词集合，例如‘son’和‘sun’）

def cal_similar_words(word):
    if len(word) != 0:
        for item in word:
            pattern = word.replace(item, '.')
            words_dict[pattern]