位图思想

位图思想

如何在一个数据量非常大的数据库进行存储、查找操作？这时就需要用到位图思想。

有这样一个题目：

给40亿个不重复的unsigned int的整数，没有排过序的，然后再给定一个数，如何快速判断这个数是否在那40个亿个数当中？

显然，这是一个大数据查找类型的问题。这样类型的问题都有一个关键的难题：如何存储这么大的数据量？假如我们建立一个长度为40亿的数组，那么显然会超过内存。因为1个unsigned int类型的数占用4个字节，40亿大概是4G左右，那么4*4G=16G的内存空间。现在32位的CPU最大寻址不超过4G。有人会说，那我们使用64位的CPU就好啦~不过，你有没有想过：一个好的算法设计师不是靠硬件升级来混饭吃的哦~~哈哈哈！

这里我们引入位图思想（bit-map），这和伴随数组有类似之处。

我们先从简单的思想来介绍位图。在内存中有：

1 byte=8 bit

那么假如我们使用这8 bit（即8位二进制）来表示每个数是否出现，那么我们就可以用8 bit来表示0~7这8个数是否出现。

0=0000 0000

69=0100 0101

255=1111 1111

从上面三个例子就可以看出，这8  bit是在计数的时候是从左向右来计算的，也就是：

1=0000 0001

表示第一个数0出现了。

2=0000 0010

表示1出现了，而0~7范围内除了1之外其余的数没有出现。

这样1 byte=8 bit就可以表示8个数是否出现的情况。注意：这里就把只有4 byte值能表示一个数的糟糕情况改善为可以表示4*8=32个数的情况。显然，我们可以把总存储空间缩小为原来的1/32。

此时，我们存储40亿个数就只需要16G/32=512M的空间了。

其实，总结起来位图思想适用于：需要存储大数据的时候；或者题目对空间复杂度有一定要求的时候。

该算法思想比较重要，需要好好理解掌握~