java位图去重_海量数据去重排序bitmap(位图法)在java中实现的两种方法

海量数据去重排序bitmap(位图法)在java中实现的两种方法

发布于 2020-3-30|

复制链接

分享一篇关于关于海量数据去重排序bitmap(位图法)在java中实现的两种方法，小妖觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小妖来看看吧

在海量数据中查找出重复出现的元素或者去除重复出现的元素是面试中常考的文图。针对此类问题，可以使用位图法来解决。例如：已知某个文件内包含若干个电话号码，要求统计不同的号码的个数，甚至在O(n)时间复杂度内对这些号码进行排序。位图法需要的空间很少(依赖于数据分布，但是我们也可以通过一些放啊发对数据进行处理，使得数据变得密集)，在数据比较密集的时候效率非常高。例如：8位整数可以表示的最大十进制数值为99999999，如果每个数组对应于一个bit位，那么把所有的八进制整数存储起来只需要：99Mbit = 12.375MB.实际上，java jdk1.0已经提供了bitmap的实现BitSet类，不过其中的某些方法是jdk1.4之后才有的。下面我先自己实现一下bitmap 的原理，然后再直接调用jdk的BitSet类分别实现bitmap, 方便比较理解：

```java

package swordoffer;

//去除重复并排序

import java.util.Arrays;

import java.util.BitSet;

import java.util.Random;

/**

* @author Gavenyeah

* @date Time:

* @des:

*/

public class BitMap {

int ARRNUM = 800;

int LEN_INT = 32;

int mmax = 9999;

int mmin = 1000;

int N = mmax - mmin + 1;

public static void main(String args[]) {

new BitMap().findDuplicate();

new BitMap().findDup_jdk();

}

public void findDup_jdk() {

System.out.println("*******调用JDK中的库方法--开始********");

BitSet bitArray = new BitSet(N);

int[] array = getArray(ARRNUM);