算法通关村15关 | 超大规模数据场景常见问题

1.用4KB内存寻找重复元素

题目：给定一个数组，包含从1到N的整数，N最大为32000，数组可能还有重复值，且N的取值不定，若只有4KB的内存可用，该如何打印数组中所有重复元素。

分析：

        本身是一道海量数据问题的热身题，如果去掉“只有4KB”的要求，我们可以先创建一个大小为N的数组，然后将这些数据放进来，但是这里数组最大为32KB，而题目有4KB的内存限制，我们就必须先确定该如何存放这个数组。

        如果只有4KB的空间，那么只能寻址`8*4*2^10`个比特，这个值比32000要大的，因此我们可以创建32000比特的位向量(比特数组)，其中一个比特位置就代表一个整数。

        利用这个位向量，就可以遍历访问整个数组。如果发现数组元素是v，那么就将位置为v的设置为1，碰到重复元素，就输出一下。

        创建一个长度为32000的数组，每个位置存储0或者1，因为要存的最大值可能是32000，所以我们可以要存多大的数，就在对应的位置0换成1即可，比如存1，数组第1位就是1，索引是0，其余位置是0。存100数组第100位就是1，索引是99，其余位置是0。存10000数组第9999位是1，其余位置是0。如果在存某个数的时候发现这个位置是1，那么这值就重复，将这个值输出。

int是32位，占空间4B,1B=8bit,所以4kb空间就有超过4000*8个bit，所以数组长度是32000>>5也就是1000,每个位置可以代表32个bit位，0-31，32-63---1000，只考虑存放是是否重复，不考虑将存放的数字转换回来。

代码示例

   public void checkDuplicates(int[] array) {
        BitSet bs = new BitSet(320000);
        for (int i = 0; i < array.length; i++) {
            int num = array[i];
            int num0 = num - 1;
            if (bs.get(num0)) {
                System.out.println(num);
            } else {
                bs.set(num0);
            }
        }
    }

    class BitSet {
        int[] bitset;

        public BitSet(int size) {
            this.bitset = new int[size >> 5];
        }


        boolean get(int pos) {
            int wordNumber = (pos >> 5);//除以32
            int bitNumber = (pos & 0x1F);//取余32
            return (bitset[wordNumber] & (1 << bitNumber)) != 0;
        }


        void set(int pos) {
            int wordNumber = (pos >> 5);//除以32
            int bitNumber = (pos & 0x1F);//取余32
            bitset[wordNumber] |= 1 << bitNumber;
        }
    }