数据分析面试题解答

本文用于自己学习
部分内容来自网络

数据分析面试题解析

问题描述：对于一个文本集合，把相似的单词进行归类。这里这样定义相似单词：两个单词只有一个字母不一样!

解析：找到两个单词之中只有一个字母不一样的单词

1.暴力读取

方法一：对于这个问题，我们最开始使用的是暴力穷举办法。遍历文本中的每个单词，找出在文本中与其相似的单词，算法的时间复杂度是o(n**2),对于常见的英文词典，差不多有将近20000个单词，那么需要经过4亿次运算，时间惊人，在实际中不可能行得通。当然这里还是有一个trick，因为相似单词总是长度一样的，所以你也许可以少许多计算。

2.使用正则的方式找到只有一个字母不同的单词（使用正则的思想进行查找）

方法二： 从相似单词的特点入手。‘son’和‘sun’都可以用正则表达式中的‘s.n’来表示，其中.在正则表达式中可以代表任意的符号

我们使用一个一个字典结构：key是正则字符串 value：是相似单词的集合。举个例子：对于单词’son’,那么符合它的正则匹配有‘.on’,‘s.n’,‘so.’,那么字典中，分别是：key:’.on’,value:‘son’,key:‘s.n’,value:‘son’,key:‘so.’,value:‘son’，对于单词‘sun’,进行同样的计算，同时字典开始更新：key:’.un’,value:‘sun’,key:‘s.n’,value:[‘son’,‘sun’],key:‘so.’,value:‘son’
key:‘su.’,value:‘sun’。这样遍历文本，最后的时间复杂度是o(n):

```python
import re
from collections import defaultdict  #使用了默认字典
words_dict = defaultdict(set)        #词典的value值默认为set（非重复的相似单词集合，例如‘son’和‘sun’）
def cal_similar_words(word):
    if len(word)!=0:
        for item in word:
            # 通过每一次的循环替换 获得各个相似单词的组
            pattern = word.replace(item,'.')
            # 将各个相似组中的元素 添加到字典中
            words_dict[pattern].add(word)
words_list = []    #文本单词集合          
with open(r'D:\1.txt') as file: #为了方便，我们读入一个txt文件，可以认为包含了
     words_list = re.findall(r'\w+',file.read())                        #所有常见的单词
for item in set(words_list):
    cal_similar_words(item.lower())
    print(item)

海量日志数据，提取出某日访问百度次数最多的那个IP

1.暴力读取将所有的数据都进行读取 排序次数

 解决思路：因为问题中提到了是海量数据，所以我们想把所有的日志数据读入内存，再去排序，找到出现次数最多的，显然行不通了。这里我们假设内存足够，我们可以仅仅只用几行代码，就可以求出最终的结果

   

```python
 from collections import Counter
    if __name__ == '__main__':
    
      ip_list = ["192.168.1.3","192.168.1.2","192.168.1.3","192.168.1.3","192.168.1.4","192.168.1.2"]
      ip_counter = Counter(ip_list) #使用python内置的计数函数，进行统计
      # 按照出现次数的顺序进行排列
      print(ip_counter.most_common())
      # 出现最多的次数
      print(ip_counter.most_common()[0][0])

在内存足够的情况下，我们可以看到仅仅使用了5、6行代码就解决了这个问题

大文件一定要进行分块处理

下面才是我们的重点，假如内存有限，不足以装得下所有的日志数据，应该怎么办？

既然内存都不能装得下所有数据，那么我们后面的使用排序算法都将无从谈起，这里我们采取大而化小的做法。

假设海量的数据的大小是100G，我们的可用内存是1G.我们可以把数据分成1000份（这里只要大于100都是可以的），每次内存读入100M再去处理。但是问题的关键是怎么将这100G数据分成1000分呢。这里我们以前学过的hash函数就派上用场了。

Hash函数的定义：对于输入的字符串，返回一个固定长度的整数，hash函数的巧妙