几百G的日志文件，存放访问过的IP地址，找访问量topk，如何快速查找某个ip是否访问过（是否包含某个ip）

一，几百G的日志文件，存放访问过的IP地址，找访问量topk
二，如何快速查找某个ip是否访问过（是否包含某个ip）

一解，假设可用内存为1G（除去操作系统、应用程序，磁盘IO等所用），同一个IP来访次数不会超过2^32 - 1,可以考虑如下方法：

1> 将1G内存分成16个缓冲区，缓冲区代表0-4G的16等分，将读入的ip按整数存放在相应的缓冲区。
2> 如果某个缓冲区满，那么就将这个64M的缓冲区写入磁盘文件中。
3> 将1G内存用于统计第一个缓冲区次数，每个计数器占4个字节，可以统计前256M的数，将第一个缓冲区生成的文件依次读入内存，在相应计数器上累加次数。统计完后写入磁盘。
4> 接着统计第二缓冲区256M-512M区间的个数……第三个……第四个……………………

这个方法读2遍，写一遍，有效地降低了磁盘读取次数。
对于结果，如果直接将每次的内存内容直接拷贝到磁盘，需要16G空间，只需要保存次数，或者是跳过0次访问的，只保存(IP,次数)对，可能会节省空间。

16个缓冲区是怎么来的？1G/4 = 256M,也就是说1G内存只能统计256M个数，而所有的可能是4G，所以需要4G/256M = 16个缓冲区。
如果IP来访次数超过2^32，那么就需要用更多的字节保存次数，例如用long long，那么就要开32个缓冲区。

算法思想：分而治之+Hash

1、IP地址最多有2^32=4G种取值情况ÿ