数据结构（如何在10亿数据中快速查找出重复的数据）

       对于32位的计算机而言，只有2G的内存（2的三十一次方），而十亿大概是2的32次方。因此，不能将其直接放到内存中进行处理。 一个byte有八位，我们可以开辟长度为2的29次方的byte数组，利用位映射原理，将要处理的数对8进行除法取商，商作为byte数组的下标，数组存储的元素可以转化为八位二进制，若二进制数的第i位为一，则表示该数对8取模的值为i。如：

       假设某数据为9。9=8*1+1，即对8的商为1，对8取模为1。应该存在byte[1]，将byte[1]的值改为00000002，即把2的一次方赋予byte[1]。

可以看到，新开数组的所需大小并不取决于数据量的大小，而是取决于某数据值的大小，新开的数组byte的大小N与所需处理的数据集之中的最大值Max有关，N>=Max/8。那么，先得到最大值，再进行查重可不可行呢，效率相对于直接开大空间有多大的提升呢？有待探究。

按照之前并不优雅的做法，就把数据量降低了n倍，得以对其进行各种操作。

下面上代码！

 

package SearchRepeatition;
/**
 * @author lzj lzj.997@qq.com:
 * @version 创建时间：2015-1-31 下午5:05:42 类说明 ：10亿数量级的查重
 */
public class