场景
哈希分治法
这是一个 ip 地址 127.0.0.1
假设有100亿个这样的 ip 地址存在文件中
这个文件大小大约是 100GB
问题:要统计出100亿个 ip 中,重复出现次数最多的前10个
分析
100GB 几乎不可能一次加载进内存进行操作,所以必须要拆分
那么可以利用分治的思想,把规模大的问题化小,然后解决各个小的问题,最后得出结果。
实现思路
- ipv4 地址是一个 32 位的整数,可以用 uint 保存。
- 我先设计一个哈希函数,把100个G的文件分成10000份,每份大约是 10MB,可以加载进内存了。
例如:我设计一个简单的哈希函数是 f(ip) = ip % 10000,(ip 是个32位整数)
那么 5 % 10000 = 5,不管 5 在哪个地方 5 % 10000 的结果都是 5,这就保证了相同的 ip 会被放在同一个子文件中,方便统计&#