一千万条短信中查找重复

有一千万条短信，有重复，以文本文件的形式保存，一行一条，有重复。请用5分钟时间，找出重复出现最多的前10条。

方法1：可以用哈希表的方法对1千万条分成若干组进行边扫描边建散列表。第一次扫描，取首字节，尾字节，中间随便两字节作为hash Code，插入到hash table中。并记录其地址和信息长度和重复次数，1千万条信息，记录者几个信息还放得下。同hash code且等长就是疑似相同，比较一下。相同记录只加1次进hash table，但将重复次数加1.一次扫描以后，已经记录各自的重复次数，进行第二次hash table的处理。用线性时间选择可在O(n)的级别上完成前10条的寻找。分组后每份中的top 10必须保证各不相同，可用hash来保证。也可以直接按hash值的大小来分类。

方法2：可以采用从小到大排序的方法，根据经验，除非是群发的过节短信，否则字数越少的短信出现重复的几率越高。建议从字数少的短信开始找起，比如一开始搜一个字的短信，找出重复出现的top10并分别记录出现次数，然后搜两个字的，比如开始搜一个字的短信，找出重复出现的top10并分别记录出现次数，然后搜两个字的，一次类推。对于相同字数的比较长的短信的搜索，除了hash之类的算法外，可以选择只抽取头、中和尾等几个位置的字符进行粗判，因为此种判断方式是为了加快查找速度但未必能得到真正期望的top10,因此需要做标记；如此搜索一遍后，可以从各次top10结果中找到备选的top10,如果这top10中有刚才做过标记的，则对其对应的所有短信进行精确搜索以找到真正的top10并在此比较。

http://watchmen.cn/portal.php?mod=view&aid=742