大容量数据排序

大容量数据排序  

2011-10-03 17:33:44|  分类： 简单数据结构及算 |字号 订阅

大容量数据样本，由于其数据过大，无法在内存中一次完成对其排序。通常需要利用外部排序和其他行之有效的方法。

1、位图算法：位图算法的限制是排序数不要太大（最好不超过10M）；数据无重复（或者找出现2次的数）；

      如对一千万个无重复整型数据进行排序，如利用一个int来保存一个数据，则需要10^7 * 32位（约300M）的空间，显然在栈上申请如此大的空间将造成极大的空间浪费；若改用1个位来表示该数是否存在，则最多仅需要10^7的空间。

     举一个很简单的例子，帮助理解位图算法：如对1~32个数进行排序，则用一个整型来存储；遍历数据，把数字存入对应的位置（1存入第一位）；然后测试各位，如为1：则输出该数。代码如下（编程珠玑）：

   #define BITSPERWORD 32

   #deinfe SHIFT 5

   #define MASK 0x1F

  #define N 10000000

  int a[ 1+ N/BITSPERWORD]

  bool setBit(int i) { a[i >> SHIFT] |= (1 << (i & MASK)); }

  bool testBit(int i) { return a[i >> SHIFT] & (1<< (i & MASK)); }

  bool clrBit(int i) { a[i >> SHIFT] &= ~(1 << (i & MASK)); }

  利用上述三个函数，首先clrBit（）初始化，然后逐个输入进行setBit（）；继而从低位到高位输出testBit为true的结点到文件中；

 

若需要处理文件出现次数，可以多个bit 位表示一个数字进而利用位图算法来处理；详细可参考http://blog.csdn.net/clearriver/article/details/4361941

 

2、大容量数据排序思路：

一般大文件排序的思想就是：hash（hash函数的设计是关键） + 分治

例1：简单hash:

若文件中数据分布较均匀（这里均匀的意思是在某个数据段的数据不会超过内存限制。如4G个int元素，全部集中在低10000的范围内，该方法失效）

思路如下：把4G文件中的数据分成内存可容纳的N个部分，在某个数据段内的（比如0~25000）放到一个文件中，形成N个文件；然后各自排序；在把N个文件从小到大输出到一个文件中。

例2：找某个单次出现的次数

利用hash_map，合理的设置hash函数（例如example = ('e' - 'a')*7*2^N + ('x' - 'a')*6*2^N + ...）；把整个文件散列到不同的容