大数据量的处理 一亿个数排序

有1亿个浮点数，请找出其中最小的10000个。提示：假设每个浮点数占4个字节，1亿个浮点数就要站到相当大的空间，因此不能一次将全部读入内存进行排序。
问题分析：
1) 1亿个浮点数，其数据大小为 400 M。如此规模的排序，首先想到分批处理。每次读取 1 000 000 个数据并进行快速排序。需要的内存空间为 1 000 000 * 4  = 4M。需要100 次这样的排序。

2）完全没的规律的数据，考虑使用快速排序。快速排序的平均复杂度是 O( Nlog(N) )。我们可以直接使用 stl 提供的全局函数 sort() ， 它使用了快速排序算法（实际是三平均分区法　median-of-three　）。
3) 最后只要最大的 10000 个。则每个批次只需要保留排序结果的前 10000 个数据。这段数据已经是分段有序的。数据量为 10000 * 100。
解法：
1) 数据结构定义：
定义数据规模：

[cpp] view plain copy print ?

1. enum 
2. { 
3.     batchCapacity = 1000000, 
4.     batchCount    = 100, 
5.     resultCount    = 10000 
6. } 

enum { batchCapacity = 1000000, batchCount = 100, resultCount = 10000 }
２）生成 数据样本：

[html] view plain copy print ?

1. void dataPrepare( const char* filName  ) 
2. { 
3.     float* pbuf; 
4.     if( ( pbuf= (  float *)malloc( batchCapacity  * sizeof( float ) )) == NULL ) 
5.     { 
6.         throw( "failed to malloc" ); 
7.     } 
8.     //  生成 batchCapacity * batchCount 个随机实数，并保存到文件  
9.     ofstream fout; 
10.     fout.exceptions(std::ios::badbit | std::ios::failbit | std::ios::eofbit ); 
11.     fout.open( filName, ios::binary ) ; 
12.     if ( !fout   ) 
13.     { 
14.         throw( "file not exits" ); 
15.     } 
16.     for( size_t index = 0; index< batchCount; index++ ) 
17.     { 
18.         for( size_t index = 0; index <batchCapacity; index++  ) 
19.         { 
20.             pbuf[index] = RandomFloat( 0, 65537 ); 
21.         } 
22.         fout.write( (char*)pbuf, batchCapacity * sizeof( float )  ); 
23.     } 
24.     fout.close(); 
25.     delete pbuf; 
26.     pbuf = NULL; 
27.     return ; 
28. } 

void dataPrepare( const char* filName ) { float* pbuf; if( ( pbuf= ( float *)malloc( batchCapacity * sizeof( float ) )) == NULL ) { throw( "failed to malloc" ); } // 生成 batchCapacity * batchCount 个随机实数，并保存到文件 ofstream fout; fout.exceptions(std::ios::badbit | std::ios::failbit | std::ios::eofbit ); fout.open( filName, ios::binary ) ; if ( !fout ) { throw( "file not exits" ); } for( size_t index = 0; index < batchCount; index++ ) { for( size_t index = 0; index < batchCapacity; index++ ) { pbuf[index] = RandomFloat( 0, 65537 ); } fout.write( (char*)pbuf, batchCapacity * sizeof( float ) ); } fout.close(); delete pbuf; pbuf = NULL; return ; }
以上，用 RandomFloat() 生成随机数。其定义如下：

[cpp] view plain copy print ?

1. /********************************************
2. * Rand::rand 线性同余算法获得随机数
3. * 会循环出现相同的数。有待改进
4. *
5. *********************************************/ 
6.  
7. #include <cstdlib> 
8. #include <ctime> 
9. class Rand 
10. { 
11. public: 
12.     static longlong r; 
13.     static int rand()//产生随机数 
14.     { 
15.        // 三个参数的取值　关键字：辗转相除 二次同余 
16.         r = ( r * 1010557   + 79390691  ) %  100663363 ;   
17.         return r; 
18.     } 
19. }; 
20. long long Rand::r = 43215; 
21.  
22. float RandomFloat( float low,float high) { 
23.     float d = float( Rand::rand()) / (float(RAND_MAX) + 1); 
24.         return low + d * (high - low); 
25. } 

/******************************************** * Rand::rand 线性同余算法获得随机数 * 会循环出现相同的数。有待改进 * *********************************************/ #include <cstdlib> #include <ctime> class Rand { public: static long long r; static int rand()//产生随机数 { // 三个参数的取值　关键字：辗转相除 二次同余 r = ( r * 1010557 + 79390691 ) % 100663363 ; return r; } }; long long Rand::r = 43215; float RandomFloat( float low, float high) { float d = float( Rand::rand()) / ( float(RAND_MAX) + 1); return low + d * (high - low); }
3 ) 排序

[cpp] view plain copy print ?

1. void dataOrder( constchar* filName  ) 
2. { 
3.     float* pbuf  = (  float *)malloc( batchCapacity  * sizeof(float ) ); 
4.     if ( pbuf == NULL ) 
5.     { 
6.         throw( "failed to malloc " ); 
7.     } 
8.     ifstream fin; 
9.     ofstream fout; 
10.     fin.exceptions(std::ios::badbit | std::ios::failbit | std::ios::eofbit ); 
11.     fout.exceptions(std::ios::badbit | std::ios::failbit | std::ios::eofbit ); 
12.     fin.open( filName, ios::binary ); 
13.     fout.open( string( string(filName).append(".order") ).c_str(), ios::binary );  
14.     for( size_t index = 0;index < batchCount;index++ ) 
15.     { 
16.         //　分批读入，排序 
17.         fin.read( (char*)pbuf, batchCapacity *sizeof( float )  ); 
18.         std::sort( pbuf, pbuf + batchCapacity ); 
19.         fout.write( (char*)pbuf,  resultCount *sizeof( float ) ); 
20.         cout <<  "writed bytes:"  << resultCount * index + 1 <<  endl; 
21.     } 
22.     fin.close(); 
23.     fout.close(); 
24.     delete pbuf; 
25.     // 将分组的数据综合排序 
26.     pbuf =  (  float *)malloc( resultCount * batchCount *sizeof( float ) ); 
27.     if ( pbuf == NULL ) 
28.     { 
29.         throw( "failed to malloc " ); 
30.     } 
31.     fin.open( string( string(filName).append(".order") ).c_str(), ios::binary );  
32.     fin.read( (char*)pbuf, resultCount * batchCount *sizeof( float )  ); 
33.     std::sort( pbuf, pbuf +  resultCount * batchCount  ); 
34.  
35.     //merge_sort<float>(  pbuf,0,( resultCount *  batchCount ) - 1 ); 
36.     // 输出 
37.     for(  size_t index = 0; index < resultCount; index++ ) 
38.     { 
39.         printf( "%d\t%f\n",  index, pbuf[index ] ); 
40.     } 
41.     fin.close(); 
42.     delete pbuf; 
43.     pbuf = NULL; 
44. } 

void dataOrder( const char* filName ) { float* pbuf = ( float *)malloc( batchCapacity * sizeof( float ) ); if ( pbuf == NULL ) { throw( "failed to malloc " ); } ifstream fin; ofstream fout; fin.exceptions(std::ios::badbit | std::ios::failbit | std::ios::eofbit ); fout.exceptions(std::ios::badbit | std::ios::failbit | std::ios::eofbit ); fin.open( filName, ios::binary ); fout.open( string( string(filName).append(".order") ).c_str(), ios::binary ); for( size_t index = 0;index < batchCount;index++ ) { //　分批读入，排序 fin.read( (char*)pbuf, batchCapacity * sizeof( float ) ); std::sort( pbuf, pbuf + batchCapacity ); fout.write( (char*)pbuf, resultCount * sizeof( float ) ); cout << "writed bytes:" << resultCount * index + 1 << endl; } fin.close(); fout.close(); delete pbuf; // 将分组的数据综合排序 pbuf = ( float *)malloc( resultCount * batchCount * sizeof( float ) ); if ( pbuf == NULL ) { throw( "failed to malloc " ); } fin.open( string( string(filName).append(".order") ).c_str(), ios::binary ); fin.read( (char*)pbuf, resultCount * batchCount * sizeof( float ) ); std::sort( pbuf, pbuf + resultCount * batchCount ); //merge_sort<float>( pbuf,0,( resultCount * batchCount ) - 1 ); // 输出 for( size_t index = 0; index < resultCount; index++ ) { printf( "%d\t%f\n", index, pbuf[index ] ); } fin.close(); delete pbuf; pbuf = NULL; }
性能测试结果： p4 的 cpu，每秒大约处理 30万个记录。
整个程序：

[cpp] view plain copy print ?

1. const char* filName ="c:\\float.df"; 
2. void dataPrepare( constchar* filName  ); 
3. void helpInfo(); 
4. void dataOrder( constchar* filName  ); 
5. int main( int argc,char* argv[] ) 
6. { 
7.     try 
8.     { 
9.         if  ( argc == 1 ) 
10.         { 
11.             helpInfo(); 
12.             return 0; 
13.         } 
14.         const char* filename = argv[1]+ 2; 
15.         if ( filename != NULL && strlen( filename ) > 0 ) 
16.         { 
17.             filName = filename; 
18.         } 
19.         switch ( argv[1][1] ) 
20.         { 
21.         case 'g': 
22.             dataPrepare( filName  ); 
23.             break; 
24.  
25.         case 'o': 
26.             dataOrder( filName  ); 
27.             break; 
28.         default: 
29.             helpInfo(); 
30.             return 0; 
31.             break; 
32.         } 
33.     } 
34.     catch(  constchar* e) 
35.     { 
36.         cout <<  e << endl; 
37.     } 
38.     catch(    ) 
39.     { 
40.         cout <<  "unknown error" << endl; 
41.     } 
42.     system( "pause" ); 
43.     return 0; 
44. } 

const char* filName = "c:\\float.df"; void dataPrepare( const char* filName ); void helpInfo(); void dataOrder( const char* filName ); int main( int argc, char* argv[] ) { try { if ( argc == 1 ) { helpInfo(); return 0; } const char* filename = argv[1]+ 2; if ( filename != NULL && strlen( filename ) > 0 ) { filName = filename; } switch ( argv[1][1] ) { case 'g': dataPrepare( filName ); break; case 'o': dataOrder( filName ); break; default: helpInfo(); return 0; break; } } catch( const char* e) { cout << e << endl; } catch( ) { cout << "unknown error" << endl; } system( "pause" ); return 0; }
Referance:
快速排序
the c++ programming lanauage, by bjarne stroustrup chapter 18: Algorithms and Function Objects
线性同余法生成随机数
Introduction to Algorithms, Second Edition,by Thomas H. Cormen, Charles E. 11.3 Hash functions 介绍了线性同余法的原理和用法。

三平均分区法：
Introduction to Algorithms, Second Edition,by Thomas H. Cormen, Charles E.　Problems 7-5: Median-of-3 partition