http://blog.csdn.net/qll125596718/article/details/6905476
1.引子
该博主还有平衡二叉树 与 哈希表的讲解
问题描述：
输入：一个最多含有n个不重复的正整数（也就是说可能含有少于n个不重复正整数）的文件，其中每个数都小于等于n，且n=10^7。
输出：得到按从小到大升序排列的包含所有输入的整数的列表。
条件：最多有大约1MB的内存空间可用，但磁盘空间足够。且要求运行时间在5分钟以下，10秒为最佳结果。
分析：下面咱们来一步一步的解决这个问题，
1、归并排序。你可能会想到把磁盘文件进行归并排序，但题目要求你只有1MB的内存空间可用，所以，归并排序这个方法不行。
2、位图方案。熟悉位图的朋友可能会想到用位图来表示这个文件集合。例如正如编程珠玑一书上所述，用一个20位长的字符串来表示一个所有元素都小于20的简单的非负整数集合，边框用如下字符串来表示集合{1,2,3,5,8,13}：
上述集合中各数对应的位置则置1，没有对应的数的位置则置0。
参考编程珠玑一书上的位图方案，针对我们的10^7个数据量的磁盘文件排序问题，我们可以这么考虑，由于每个7位十进制整数表示一个小于1000万的整数。我们可以使用一个具有1000万个位的字符串来表示这个文件，其中，当且仅当整数i在文件中存在时，第i位为1。采取这个位图的方案是因为我们面对的这个问题的特殊性：1、输入数据限制在相对较小的范围内，2、数据没有重复，3、其中的每条记录都是单一的整数，没有任何其它与之关联的数据。
所以，此问题用位图的方案分为以下三步进行解决：
第一步，将所有的位都置为0，从而将集合初始化为空。
第二步，通过读入文件中的每个整数来建立集合，将每个对应的位都置为1。
第三步，检验每一位，如果该位为1，就输出对应的整数。
经过以上三步后，产生有序的输出文件。令n为位图向量中的位数（本例中为1000 0000），程序可以用伪代码表示如下：
//第一步，将所有的位都初始化为0
for i ={0,....n}
bit[i]=0;
//第二步，通过读入文件中的每个整数来建立集合，将每个对应的位都置为1。
for each i in the input file
bit[i]=1;
//第三步，检验每一位，如果该位为1，就输出对应的整数。
for i={0...n}
if bit[i]==1
write i on the output file
问题：
用此位图方法，严格说来还是不太行，空间消耗10^7/8还是大于1M（1M=1024*1024空间，小于10^7/8）。
既然如果用位图方案的话，我们需要约1.25MB（若每条记录是8位的正整数的话，则10000000/(1024*1024*8) ~= 1.2M）的空间，而现在只有1MB的可用存储空间，那么究竟该作何处理呢?
改进的位图方案，共需要扫描输入数据两次，具体执行步骤如下：
第一次，只处理1—4999999之间的数据，这些数都是小于5000000的，对这些数进行位图排序，只需要约5000000/8=625000Byte，也就是0.625M，排序后输出。
第二次，扫描输入文件时，只处理4999999-10000000的数据项，也只需要0.625M（可以使用第一次处理申请的内存）。
因此，总共也只需要0.625M。
对应源码如下：
//位图方式解决海量数据排序，数据不能有重复
//使用 C++ stl的 bitset
#include <iostream>
#include <bitset>
#include <assert.h>
#include <time.h>
#include <stdio.h>
#include <stdlib.h>
using namespace std;
const int max_each_scan = 5000000;
int main()
{
clock_t begin = clock();
bitset<max_each_scan> bit_map;
bit_map.reset();
// open the file with the unsorted data
FILE *fp_unsort_file = fopen("data.txt", "r");
assert(fp_unsort_file);
int num;
// the first time scan to sort the data between 0 - 4999999
while (fscanf(fp_unsort_file, "%d ", &num) != EOF)
{
if (num < max_each_scan)
//有这个数字，将bit_map的对应的位设置为1
bit_map.set(num, 1);
}
FILE *fp_sort_file = fopen("sort.txt", "w");
assert(fp_sort_file);
int i;
// write the sorted data into file
for (i = 0; i < max_each_scan; i++)
{
if (bit_map[i] == 1)
fprintf(fp_sort_file, "%d ", i);
}
// the second time scan to sort the data between 5000000 - 9999999
int result = fseek(fp_unsort_file, 0, SEEK_SET);
if (result)
cout << "fseek failed!" << endl;
else
{
bit_map.reset();
while (fscanf(fp_unsort_file, "%d ", &num) != EOF)
{
if (num >= max_each_scan && num < 10000000)
{
num -= max_each_scan;
bit_map.set(num, 1);
}
}
for (i = 0; i < max_each_scan; i++)
{
if (bit_map[i] == 1)
fprintf(fp_sort_file, "%d ", i + max_each_scan);
}
}
clock_t end = clock();
cout<<"用位图的方法，耗时："<<endl;
cout << (end - begin) / CLK_TCK << "s" << endl;
fclose(fp_sort_file);
fclose(fp_unsort_file);
return 0;
}
2.bitmap原理
所谓的Bit-map就是用一个bit位来标记某个元素对应的Value， 而Key即是该元素。由于采用了Bit为单位来存储数据，因此在存储空间方面，可以大大节省。
假设我们要对0-7内的5个元素(4,7,2,5,3)排序（这里假设这些元素没有重复）。那么我们就可以采用Bit-map的方法来达到排序的目的。要表示8个数，我们就只需要8个Bit（1Bytes），首先我们开辟1Byte的空间，将这些空间的所有Bit位都置为0，如下图：
然后遍历这5个元素，首先第一个元素是4，那么就把4对应的位置为1（可以这样操作 p+(i/8)|(0×01<<(i%8)) 当然了这里的操作涉及到Big-ending和Little-ending的情况，这里默认为Big-ending）,因为是从零开始的，所以要把第五位置为一（如下图）：
然后再处理第二个元素7，将第八位置为1,，接着再处理第三个元素，一直到最后处理完所有的元素，将相应的位置为1，这时候的内存的Bit位的状态如下：
然后我们现在遍历一遍Bit区域，将该位是一的位的编号输出（2，3，4，5，7），这样就达到了排序的目的。下面的代码给出了一个BitMap的用法：排序。
//定义每个Byte中有8个Bit位
#include <memory.h>
#include <stdio.h>
#define BYTESIZE 8
void SetBit(char *p, int posi)
{
for(int i=0; i < (posi/BYTESIZE); i++)//找出所在字节
{
p++;
}
*p = *p|(0x01 << (posi%BYTESIZE));//将该Bit位赋值1
return;
}
void BitMapSortDemo()
{
//为了简单起见，我们不考虑负数
int num[] = {3,5,2,10,6,12,8,14,9};
int i;
//BufferLen这个值是根据待排序的数据中最大值确定的
//待排序中的最大值是14，因此只需要2个Bytes(16个Bit)
//就可以了。
const int BufferLen = 2;
char *pBuffer = new char[BufferLen];
//要将所有的Bit位置为0，否则结果不可预知。
memset(pBuffer,0,BufferLen);
for(i=0; i < 9; i++)
{
//首先将相应Bit位上置为1
SetBit(pBuffer,num[i]);
}
//输出排序结果
for(i=0;i < BufferLen;i++)//每次处理一个字节(Byte)
{
for(int j=0;j < BYTESIZE;j++)//处理该字节中的每个Bit位
{
//判断该位上是否是1，进行输出，这里的判断比较笨。
//首先得到该第j位的掩码（0x01<<j），将内存区中的
//位和此掩码作与操作。最后判断掩码是否和处理后的
//结果相同
if((*pBuffer&(0x01 << j)) == (0x01 << j))
{
printf("%d ",i*BYTESIZE + j);
}
}
pBuffer++;
}
}
int main(int argc, char * argv[])
{
BitMapSortDemo();
return 0;
}
参考：
1.http://www.kuqin.com/algorithm/20111006/312574.html
2.http://blog.redfox66.com/post/2010/09/26/mass-data-4-bitmap.aspx
以下是自己的测试源码：
#define BYTESIZE 8
void SetBit(char* p,int posi)
{
for(int i=0;i<(posi/BYTESIZE);i++)
p++;//找出所在的字节 （0到7为第0个字节 8到15为第二个字节
*p=*p|(0x01<<(posi%BYTESIZE));//将该Bit为设置为1
}
void BitMapSortDemo()
{
//不考虑负数
int num[]={3,5,2,10,6,12,8,14,9};
int i,j;
const int BufferLen=2;
char *pBuffer=new char[BufferLen];
memset(pBuffer,0,BufferLen);
for(i=0;i<sizeof(num)/sizeof(int);i++)
{
SetBit(pBuffer,num[i]);
}
for(i=0;i<BufferLen;i++)
{
for(j=0;j<BYTESIZE;j++)
{
if((*pBuffer&(0x01<<j))==(0x01<<j))
printf("%d ",i*BYTESIZE+j);
}
pBuffer++;
}
cout<<endl;
}
const int max_each_scan=5000000;
void test()
{
clock_t begin=clock();
bitset<max_each_scan> bit_map;
bit_map.reset();
//open the file with the unsorted data
//打开没有经过排序的文件
FILE* fp_unsort_file=fopen("data.txt","r");
assert(fp_unsort_file);
int num;
while(fscanf(fp_unsort_file,"%d",&num)!=EOF)
{//首先，我们排序0-4999999中间的数据
if(num<max_each_scan)
bit_map.set(num,1);
}
FILE* fp_sort_file=fopen("sort.txt","w");
assert(fp_sort_file);
int i;
//write the sorted data to file
for(i=0;i<max_each_scan;i++)
if(bit_map[i]==1)
fprintf(fp_sort_file,"%d ",i);
int result=fseek(fp_unsort_file,0,SEEK_SET);
if(result)
cout<<"fseek failed"<<endl;
else
{//处理大于5000000-9999999之间的数据
bit_map.reset();
while(fscanf(fp_unsort_file,"%d ",&num)!=EOF)
{
if(num>max_each_scan&&num<2*max_each_scan)
{
num-=max_each_scan;
bit_map.set(num,1);
}
}
for(i=0;i<max_each_scan;i++)
{
if(bit_map[i]==1)
fprintf(fp_sort_file,"%d ",i+max_each_scan);
}
}
clock_t end=clock();
cout<<"用位图的方法,耗时:"<<endl;
cout<<(end-begin)/CLK_TCK<<"s"<<endl;
fclose(fp_sort_file);
fclose(fp_unsort_file);
}
void writetet()
{
FILE* fp_sort_file=fopen("sort.txt","w");
assert(fp_sort_file);
int i;
srand(time(NULL));
//write the sorted data to file
for(i=0;i<max_each_scan*2;i++)
fprintf(fp_sort_file,"%ld ",abs((abs(rand())*(i+1))%(max_each_scan*2)));
fclose(fp_sort_file);
}
int main()
{
test();
return 0;
}
2740
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
