大数据——面试题总结(1)

1、给出一个超过100G的log file，log中存着ip地址，设计算法找到出现次数最多的ip地址?

分析：

  由于文件超过100G，所以我们必须先对文件进行切分，然后再利用数据结构的知识求解。关键是如何切分效率最高？？？

解决方法：

  我们可以使用哈希切分，将同一个ip都分割到同一个文件中，注意同一个ip经过同一个散列函数 一定会进入到同一个文件中，然后再统计每一个文件中出现最多的ip的次数，最后再将这些结果放到一起再经过比较就能得出结果。

问题：

  最极端的情况是经过哈希切分后有一个ip出现次数特别多，切分后存放这个ip的文件还是太大加载不到内存中，这时候应该怎么办呢？？？

  这时候可以将这个文件再切分(普通的切分)成若干个小文件，将每一个文件加载到内存中使用hash表求出ip出现的次数，最后再将这些小文件的结果汇总后在求出出现次数最多的ip。

2、与上题条件相同，如何找到top K的ip?

  与第1题一样，我们统计出每个文件中每个ip出现的次数然后再利用最小堆分别求出每个文件中出现次数最多的前k个ip，最后再将这些文件的