top K问题

对top K类问题，通常比较好的方案是分治+Trie树/hash+小顶堆

即先将数据集按照Hash方法分解成多个小数据集

然后使用Trie树或者Hash统计每个小数据集中的query词频

之后用小顶堆求出每个数据集中出频率最高的前K个数

最后在所有top K中求出最终的top K。

 

例如：有1亿个浮点数，如何找出其中最大的10000个？

最容易想到的方法是将数据全部排序，然后在排序后的集合中进行查找，最快的排序算法的时间复杂度一般为O(nlogn)，如快速排序。而在32位机器上，每个float类型占4个字节，1亿个浮点数就要占用400MB的存储空间，对于一些可用内存小于400MB的计算机而言，很显然是不能一次将全部数据读入内存进行排序的。其实即使内存能够满足要求，该方法也并不高效，因为题目的目的是寻找出最大的10000个数即可，而排序却是将所有的元素都排序了，做了很多无用功

 

1：局部淘汰法

该方法与排序方法类似，用一个容器保存前 10000个数，然后将剩余的所有数字一一与容器内的最小数字相比，如果所有后续的元素都比容器内的 1000个数还小，那么容器内的这 10000个数就是最大的 10000个数。如果某一后续元素比容器内的最小数字大，则删掉容器内最小元素，并将该元素插入容器，最后遍历完这1亿个数，得到的结果容器中保存的数即为最终结果了。此时的时间复杂度为O(n+m2)，其中m为容器的大小，即10000

2：分治法

将1亿个数据分成100份，每份100万个数据，找出每份数据中最大的10000个，最后在剩下的100×10000个数据里面找出最大的10000个。如果100万数据选择足够理想，那么可以过滤掉1亿数据里面99%的数据。100万个数据里面查找最大的10000个数据的方法如下：用快速排序的方法，将数据分为2堆，如果大的那堆个数N大于10000个，继续对大堆快速排序一次分成2堆，如果大堆个数N小于10000，就在小的那堆里面快速排序一次，找第10000-n大的数字；递归以上过程，就可以找到第1w大的数。参考上面的找出第1w大数字，就可以类似的方法找出前10000大数字了。此种方法每次需要的内存空间为106×4=4MB，一共需要101次这样的比较

3：Hash法

如果这1亿个数里面有很多重复的数，先通过Hash法，把这1亿个数字去重复，这样如果重复率很高的话，会减少很大的内存用量，从而缩小运算空间，然后通过分治法或最小堆法查找最大的10000个数

4：采用最小堆

首先读入前10000个数来创建大小为10000的小顶堆，建堆的时间复杂度为O(mlogm)(m为数组的大小即为10000)，然后遍历后续的数字，并与堆顶（最小）数字进行比较。如果比最小的数小，则继续读取后续数字；如果比堆顶数字大，则替换堆顶元素并重新调整堆为小顶堆。整个过程直至1亿个数全都遍历完为止。然后按照中序遍历的方式输出当前堆中的所有10000个数字。该算法的时间复杂度为O(nmlogm) ，空间复杂度是10000(常数)

 

 

 

 

大数加法与乘法

将数字用字符串表示。为了方便计算和处理进位问题，将数字反转用字符串表示，将字符串表示为字符数组。原来的数字的在数组中表示是由高位到低位的，转换后的字符在数组中是由低位到高位的。例如，对于数字123而言，需要转换成的字符数组为a = {'3', '2', '1'}。