面试常问的海量数据问题

提取出某日访问网站次数最多的那个IP或者n个IP

算法思想：分而治之+Hash

IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理，所以需对大的文件进行切割。在分割文件时必须使相同的IP保存到同一个文件中，可以采用取模操作。

取模算法：
因为每个IP（相当于字符串）对应了一个hashcode，相同的IP的hashcode（hash(ip)）肯定相同，通过hashcode对某个数取模，比如100.，这样原文件分割成100个文件。
根据取模的结果存储到相应的文件中，相同的IP会存储到同一个文件中。分割后的文件大小大约为原来的1/n(若对n取模），若对100取模大约为原文件的1/100。
如果分割后的文件中可能有部分文件内存中还装载不下，可以对该文件继续分割直至内存可以装下为止，比如对该文件继续对2求模。

对于分割后的文件，求每个文件上出现次数最多的IP。此时可以用hashmap存储每个IP出现的次数。key存储为IP字符串，value为该字符串出现的次数。

统计该hashmap上拥有最大value的key项

最后比较所有分块文件上访问最多的IP便求出了访问次数最多的IP

10亿个整数找出重复次数最多的100个整数

全部排序

设置一个容量为10000的小顶堆

分治法

1. 将1亿个数据分成100份，每份100万个数据，找到每份数据中最大的10000个，最后在剩下的100*10000个数据里面找出最大的10000个。
2. 100万个数据里面查找最大的10000个数据的方法如下：用快速排序的方法，将数据分为2堆，如果大的那堆个数N大于10000个，继续对大堆快速排序一次分成2堆，如果大的那堆个数N大于10000个，继续对大堆快速排序一次分成2堆，如果大堆个数N小于10000个，就在小的那堆里面快速排序一次，找第10000-n大的数字；递归以上过程，就可以找到第1w大的数。参考上面的找出第1w大数字，就可以类似的方法找到前10000大数字了。此种方法需要每次的内存空间为10^6*4=4MB，一共需要101次这样的比较。

Hash法。如果这1亿个书里面有很多重复的数，先通过Hash法，把这1亿个数字去重复，这样如果重复率很高的话，会减少很大的内存用量，从而缩小运算空间，然后通过分治法或最小堆法查找最大的10000个数。

搜索的输入信息是一个字符串，统计300万输入信息中的最热门的前10条，我们每次输入的一个字符串为不超过255byte，内存使用只有1G。

此题是可以全部存放入内存中的情况。

256B=0.25KB=1KB/4；100万=1M，10亿=1G。
300万个字符串最多占用内存3M*1K/4=0.75G。所以可以将所有字符串都存放在内存中进行处理。
可以使用key为字符串（事实上是字符串的hash值），值为字符串出现次数的hash来统计每个每个字符串出现的次数。并用一个长度为10的数组/链表来存储目前出现次数最多的10个字符串。
这样空间和时间的复杂度都是O(n)。