算法通关村——位运算在查找重复元素中的妙用

1.青铜挑战——用4KB内存寻找重复元素

在海量数据中，普通的数组，链表，hash，树等结构都无效了，因为内存空间放不下。而常规的递归，排序，回溯，贪心和动态规划等思想也无效了。这里介绍三种非常典型的思路：

1.使用位存储，最大的好处时占用的空间是简单存整数的1/8.

2.如果文件实在太大，无法在内存中放下，则需要考虑将大文件分成若干小块，先处理每个块，最后再逐步得到想要的结果，这种方式也叫做外部排序。这样需要遍历全部序列至少两次，是典型的用时间换空间的方法

3.堆，如果在超大数据中找第K大，第K小，K个最大，K个最小，则特别适合使用堆来做。而且将超大数据测换成流数据也可以，而且几乎是唯一的方式，口诀就是“查小用大堆，查大用小堆”。

1.用4KB内存寻找重复元素

题目要求：给定一个数组，包括从1到N的整数，N最大位32000，数组可能还有重复值，且N的取值不定，若只有4KB的内存可用，该如何打印数组中所有重复元素

如果只有4KB的空间，那么只能寻址8*4*2^10个比特，这个值比32000要大，因此我们呢可以创建32000比特的位向量（比特数组），其中一个比特位置就代表一个整数。

利用这个位向量，就可以遍历访问整个数组。如果发现数组元素是v，那么就将位置为v的设置为1，碰到重复元素，就输出一下。