海量数据最小k个数

从大量(海量)数据中查找最小的k(k一般比较小)个数，这是笔试中常考的题目。 如果是从少量数据中查找最小的k个数据，并且允许修改允许修改原始数据，侧利用Partition()函数，在O(N)的时间复杂度，O(1)的空间复杂度就可以找到最小的k个数据。
从大量数据中查找最小的k个数，我们可以利用一个容器先存储前k个数据，然后从数据中读取下一个数，判断该数是与容器中最大的数的大小，如果该数较大或相等，侧读取下一个数，如果该数比容器中最大数小，侧删除容器中该最大数，将该数放入容器中，然后读取下一个数…
从容器中选择最大的数，可以知道该容器应该是大根堆，或二叉排序树，红黑树。下面是以multiset为容器实现该算法。
multiset的插入操作采用底层机制RB-tree的insert_equal（）而非insert_unique(),因此和set的唯一区别在于它允许键值重复。

#include "stdafx.h"  
#include  <iostream>  
#include <vector>  
#include <set>  
#include <ctime>  
using namespace std;  

typedef multiset<int,greater<int>> Set;  
typedef multiset<int,greater<int>>::const_iterator Set_iterator;  

void getLeastNumbers(const vector<int> & numbers,Set & leastNumbers,int k)  
{  
   leastNumbers.clear();  
   if(k<=0 || numbers.size()<k)  
       return ;  
   for(vector<int>::const_iterator ite=numbers.begin();ite!=numbers.end();ite++)  
   {  
      if(leastNumbers.size()<k)  
      {  
          leastNumbers.insert(*ite);  
      }  
      else  
      {  
          Set_iterator IteratorFirst=leastNumbers.begin();//最大的元素  
          if(*ite<*IteratorFirst)  
          {  
              leastNumbers.erase(IteratorFirst);  
              leastNumbers.insert(*ite);  
          }  
      }  
   }  
}  

int _tmain(int argc, _TCHAR* argv[])  
{  
    //int a[]={4,5,1,6,2,7,3,8};  
    //int length=sizeof(a)/sizeof(int);  
    //vector<int> numbers(a,a+length-1);  
    srand((unsigned)time(0));  
    vector<int> numbers;  
    for(int i=0;i<100000;i++)  
       numbers.push_back(rand());  
    for(vector<int>::iterator ite=numbers.begin();ite!=numbers.end();ite++)  
        cout<<*ite<<" ";  
    cout<<endl;  

    Set leastNumbers;  
    int k=4;  
    getLeastNumbers(numbers,leastNumbers,k);  
    for(Set_iterator ite=leastNumbers.begin();ite!=leastNumbers.end();ite++)  
    {  
       cout<<*ite<<" ";  
    }  
    system("PAUSE");  
    return 0;  
}  

该算法的时间复杂度为：NlogK，空间复杂度为O（k）。我们不需要一次性将数据全部放入内存，只需从硬盘一次读一个数据到内存即可，但是内存必须够容纳容器(multiset)中的K个数。