100台机器上海量IP如何查找出现频率 Top 100？

场景题

有 100 机器，每个机器的磁盘特别大，磁盘大小为 1T，但是内存大小只有 4G，现在每台机器上都产生了很多 ip 日志文件，每个文件假设有50G，那么如果计算出这 100 太机器上访问量最多的 100 ip 呢？也就是Top 100。

思路

其实，一开始我有往布隆过滤器那边考虑，但是布隆过滤器只能大致的判断一个 ip 是否已经存在，而不能去统计数量，不符合该场景。

那么一般这种大数据的问题，都是因为一次不能完全加载到内存，因此需要拆分，那怎么拆呢？ip是32位的，也就是最多就 2³² 个， 常见的拆分方法都是 哈希：

• 把大文件通过哈希算法分配到不同的机器
• 把大文件通过哈希算法分配到不同的小文件

上面所说，一台机器的内存肯定不能把所有的 ip 全部加载进去，必须在不同机器上先 hash 区分，先看每台机器上，50G 文件，假设我们分成 100 个小文件，那么平均每个就500M，使用 Hash 函数将所有的 ip 分流到不同的文件中。

这个时候相同的 ip 一定在相同的文件中，当然不能排除数据全部倾斜于一个文件的情况，也就是虽然 hash了，但是由于个别ip或者hash值相同的ip太多了，都分到了个别文件上，那么这个时候分流后的文件依旧很大。这种情况我能想到的就是要是文件还是很大，需要再hash，如果基本属于同一个ip，那么这个时候就可以分批次读取，比如一次只读 1G