上千万数据的IP取前100个出现次数最多的

一、思路：

首先上千万级别的数据量的文件，大概有几十G的大小（考虑到里面有重复出现的IP），内存肯定是不够用的。所以要拆分处理。大概分为如下三个步骤

1、大文件拆分小文件

所以要先把文件分为小文件，例如分为100个文件。然后要有顺序的把IP分类存入小文件，这里用到了hash，IP对100取余，并且保证相同IP在同一个文件中，分成了100份，先对数据经过hash计算，然后让相同的值放入100个文件中。

2、在拆分的小文件中统计

在小文件（一般小于1G）中，对每个相同的IP进行统计，在这100个文件中用HashMap结构进行统计每个IP出现的次数。具体细节，每次读取一个，如果该字串不在Table中，那么加入该值，并且将Value值设为1；如果该字串在Table中，那么将该字串的计数加一，最终我们在O(N)的时间复杂度内用Hash表完成了统计；

下面是来自其他地方的对IP进行hash计算的算法，有兴趣的可以研究一下。

    for ( ;; ) {
 
         for (i = 0; i < 3; i++) {  
            hash = (hash * 113 + iphp->addr[i]) % 6271; //iphp->addr[i]为ip的点分十进制法的第i段
        }
 
        p = hash % iphp->rrp.peers->number;
 
        n = p / (8 * sizeof(uintptr_t));
        m = (uintptr_t) 1 << p % (8 * si