位图BitMap大数据筛选

package oom;
/**
 * 假设index是从1开始的，所以先将index减去1，如果你要统计的数据范围是从0开始的，
 * 则不需要减去这个1。右移5位（相当于除以32）的原因是，一个int型数据是32位的（2的5次方等于32）。
 * 偏移量中&31相当于模32，其原因也因为int型数据是32位的。
 * 如果你不准备基于int，而是准备基于其他的，如byte，long的话，
 * （以byte为例）则将>>5改成>>3，&31改成&7即可
 * 实现BitMap
 *注：这个bitMap的index是从1开始的
 */
public class BitMap {
    private long length;
    private static int[] bitsMap;

    //构造函数中传入数据中的最大值
    public BitMap(long length) {
        this.length = length;
        // 根据长度算出，所需数组大小
        bitsMap = new int[(int) (length >> 5) + ((length & 31) > 0 ? 1 : 0)];
    }

    public int getBit(long index) {
        int intData = bitsMap[(int) ((index - 1) >> 5)];
        int offset = (int) ((index - 1) & 31);
        return intData >> offset & 0x01;
    }


    public void setBit(long index) {
        // 求出该index - 1所在bitMap的下标
        int belowIndex = (int) ((index - 1) >> 5);
        // 求出该值的偏移量(求余)
        int offset = (int) ((index - 1) & 31);
        int inData = bitsMap[belowIndex];
        bitsMap[belowIndex] = inData | (0x01 << offset);
    }
    public static void main(String[] args) {
        BitMap bitMap = new BitMap(32);
        bitMap.setBit(32);
        System.out.println(bitMap.getBit(1));
        System.out.println(bitMap.getBit(32));
    }
}

package oom;

import java.util.Arrays;

/**位操作（&运算）代替求余操作
 * h & (length-1);    实际上相当于h%length取余数，但&计算速度更快
JAVA基本类型占据的字节数，须知: 
byte ：8个bit （bit就是比特位的意思） 
byte ：1个字节 （byte就是字节的意思） 
char ：2个字节 
short ：2个字节 
int ：4个字节 
boolean ：4个字节 
float ：4个字节 
long ：8个字节 
double ：8个字节 
JVM规范中，boolean变量作为int处理，也就是4字节；boolean数组当做byte数组处理。
 * 这个BitMap的去重是从0开始
 */
public class BitMapRepRemove {
    //public static final int _1MB = 1024 * 1024;

    //public static byte[] flags = new byte[ 512 * _1MB ];

    public static byte[] flags;


    public static void main(String[] args) {

        int[] array = {255, 1024, 1024, 0, 65536, 0, 1024, 8888, 9999, 1111, 8888};

        int length = 65536 + 1;
        flags = new byte[(int) (length >> 3) + ((length & 7) > 0 ? 1 : 0)];

        int index = 0;
        for(int num : array) {
            if( getFlags(num) != 1) {
                //未出现的元素
                array[index] = num;
                index = index + 1;
                //设置标志位
                setFlags(num);
            }
        }
        array = Arrays.copyOf(array, index);
        System.out.println(Arrays.toString(array));
        System.out.println(array.length);
    }

    public static void setFlags(int num) {
        int offset = num & (0x07);
        flags[num >> 3] |= 0x01 << offset;
    }

    public static int getFlags(int num) {
        int offset = num & (0x07);
        return flags[num >> 3] >> offset & 0x01;
    }
}

/*
*图片存入内存中可以用软引用SoftReference<E>内存不够，会被GC回收
*
*/
private Map<String, SoftReference<Bitmap>> imageMap 
                                           = new HashMap<String, SoftReference<Bitmap>>();

public Bitmap loadBitmap(final String imageUrl,final ImageCallBack imageCallBack) {
    SoftReference<Bitmap> reference = imageMap.get(imageUrl);
    if(reference != null) {
        if(reference.get() != null) {
            return reference.get();
        }
    }
    final Handler handler = new Handler() {
        public void handleMessage(final android.os.Message msg) {
            //加入到缓存中
            Bitmap bitmap = (Bitmap)msg.obj;
            imageMap.put(imageUrl, new SoftReference<Bitmap>(bitmap));
            if(imageCallBack != null) {
                imageCallBack.getBitmap(bitmap);
            }
        }
    };
    new Thread(){
        public void run() {
            Message message = handler.obtainMessage();
            message.obj = downloadBitmap(imageUrl);
            handler.sendMessage(message);
        }
    }.start();
    return null ;
}

// 从网上下载图片
private Bitmap downloadBitmap (String imageUrl) {
    Bitmap bitmap = null;
    try {
        bitmap = BitmapFactory.decodeStream(new URL(imageUrl).openStream());
        return bitmap ;
    } catch (Exception e) {
        e.printStackTrace();
        return null;
    } 
}
public interface ImageCallBack{
    void getBitmap(Bitmap bitmap);
}