1.青铜挑战——用4KB内存寻找重复元素
在海量数据中,普通的数组,链表,hash,树等结构都无效了,因为内存空间放不下。而常规的递归,排序,回溯,贪心和动态规划等思想也无效了。这里介绍三种非常典型的思路:
1.使用位存储,最大的好处时占用的空间是简单存整数的1/8.
2.如果文件实在太大,无法在内存中放下,则需要考虑将大文件分成若干小块,先处理每个块,最后再逐步得到想要的结果,这种方式也叫做外部排序。这样需要遍历全部序列至少两次,是典型的用时间换空间的方法
3.堆,如果在超大数据中找第K大,第K小,K个最大,K个最小,则特别适合使用堆来做。而且将超大数据测换成流数据也可以,而且几乎是唯一的方式,口诀就是“查小用大堆,查大用小堆”。
1.用4KB内存寻找重复元素
题目要求:给定一个数组,包括从1到N的整数,N最大位32000,数组可能还有重复值,且N的取值不定,若只有4KB的内存可用,该如何打印数组中所有重复元素
如果只有4KB的空间,那么只能寻址8*4*2^10个比特,这个值比32000要大,因此我们呢可以创建32000比特的位向量(比特数组),其中一个比特位置就代表一个整数。
利用这个位向量,就可以遍历访问整个数组。如果发现数组元素是v,那么就将位置为v的设置为1,碰到重复元素,就输出一下。