算法理解——top K问题实例

参考：http://blog.csdn.net/v_JULY_v/article/details/6403777

题目：

搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。

假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个。一个查询串的重复度越高，说明查询它的用户越多，也就是越热门。），请你统计最热门的10个查询串，要求使用的内存不能超过1G。

思路：此题解题步骤可分为两步：1.统计每个“查询串”（下称为query）出现的次数  2.根据统计结果，找出top 10

1.统计query出现次数：

利用hash思想，维护一个Key为Query字串，Value为该Query出现次数的HashTable。每次读取一个Query，如果该字串不在Table中，那么加入该字串，并且将Value值设为1；如果该字串在Table中，那么将该字串的计数加一即可。

因为hashtable中查询速度非常快，几乎达到O(1)的时间复杂度，所以统计N个记录，时间复杂度能达到O(N)，线性的时间复杂度

2.根据统计结果，找出topK

借助堆结构，我们可以在log量级的时间内查找和调整/移动。‘

具体做法： 维护一个K(该题目中是10)大小的小根堆，然后遍历300万的Query，分别和根元素进行对比。（这道题目因为是找“最大”的10个，所以用小根堆，每次遍历的元素只要和堆中最小的元素——“根”作比较，如果小于根，说明肯定进不了topK；如果大于根，说明它可以淘汰堆中的最小的一个元素，也就是根，然后再调整）

堆中最后剩下的K个元素就是top K