【算法精练】Top K问题

topK问题是一个经典的海量数据处理问题，比如热搜上每天都会更新出排行前10的热门搜索信息，再或者通过大数据找出陕西省人最爱吃的水果等，都可以使用topK问题来解决，其核心思想就是最小堆的引入。

topK问题分析

在海量数据中找出出现频率最高的前k个数，或者从海量数据中找出最大的前k个数，这类问题通常被称为top K问题。

下面我们通过一个简单的示例来说明：假如面试官给你100W个数据，请找出其中最大的前K个数，并且现在仅仅有1M的空间？

在32位操作系统中，默认一个字为4字节，则有以下运算：

NeedSize = 100w * 4 / 1024 / 1024 = 4 M

计算结果约等于4M，很显然1M的空间根本不够。也就是说，即使用最复杂的方法排序你也无法找到一个合适的空间来存储，因此引入了最小堆的数据结构。

当然假如这道题不再限制空间的大小，你会如何解决？可能不少人会说排序啊，下面我给大家证明一下时间复杂度：

设在n个数中找出最大的前k个数(n远大于k)

1>排序的时间复杂度：O（n^2）

2>最小堆的时间复杂度：

         ①建堆：klogk （logk是以2为底）

         ②比较+调整：（n-k）* logk 

若：klogk + (n-k)*logk > n^2,则排序的时间复杂度低.

即：k > 2^n.

因为：k远小于n

所以：此情况不存在,最小堆的时间复杂度最优.

我只说核心实现思路，不再獒述堆的实现，对此不解的查看最大堆和最小堆。思路如下：

① 定义两个数组，arr用于存储海量数据，top用于存储最小堆（底层数据结构借助vector）。

② 将海量数据的前k个元素先填满top堆。

③ 调整top堆为最小堆结构。

④ 通过遍历将新数据与堆顶元素（此时堆顶元素最小）比较，大于堆顶元素就入堆，并下调堆结构。

⑤ 遍历结束，则堆中的元素即n个数中最大的前k个数。

//topK.h
#pragma once
#include <iostream>
#include <assert.h>
#include <time.h>
#define K 10
#define N 100000
using namespace std;
//向下调整(最小堆)
template<class T>
void Adjustdown(T* top, size_t root)
{
	assert(root < K);
	size_t parent = root;
	size_t child = 2 * parent + 1;
	while (parent < K)
	{
		//右孩子存在且小于K且右孩子小于左孩子
		if (child + 1 < K && top[child + 1] < top[child])
			child++;//将child指向更小的结点
		//当前较小孩子小于父节点时交换，并下滤
		if (child < K && top[child] < top[parent])
		{
			std::swap(top[child], top[parent]);
			parent = child;
			child = child << 1 + 1;
		}
		else
			break;
	}
}
template<class T>
void topK(T *arr, T *top)
{
	assert(K < N);
	//将top数组存储满
	for (size_t i = 0; i < K; ++i)
	{
		top[i] = arr[i];
	}
	//下调
	for (int j = (K - 2) >> 1; j >= 0; --j)
	{
		Adjustdown(top, j);
	}
	for (size_t k = K; k < N; ++k)
	{
		if (top[0] < arr[k])//堆顶小于新比较的元素交换
		{
			std::swap(top[0], arr[k]);
			Adjustdown(top, 0);//调整最小堆的结构
		}
	}
	//遍历完成，top数据内存储的就是最大的前K个数
	for (size_t idx = 0; idx < K; ++idx)
	{
		cout << top[idx] << " ";
	}
	cout << endl;
}

//test.cpp
#include "topk.h"
void Test()
{
	int arr[N] = { 0 };
	int top[K] = { 0 };
	srand((unsigned)time(0));//随机种子
	for (size_t idx = 0; idx < N; ++idx)
	{
		arr[idx] = rand()%1234;
	}
	topK(arr, top);
}
int main()
{
	Test();
	system("pause");
	return 0;
}

CVTE笔试题之topK问题

问题描述：本公司现在要给公司员工发波福利，在员工工作时间会提供大量的水果供员工补充营养。由于水果种类比较多，但是却又不知道哪种水果比较受欢迎，然后公司就让每个员工报告了自己最爱吃的k种水果，并且告知已经将所有员工喜欢吃的水果存储于一个数组中。然后让我们统计出所有水果出现的次数，并且求出大家最喜欢吃的前k种水果。

算法分析：往往在笔试过程中，要在很短的时间内写出一个算法，调用标准库里面的东西是很方便的，比如CVTE这道题就是对STL中三种容器的考察：具体步骤如下：

① 首先，使用vector来存储所有的水果。

② 其次，采用map将vector中存在的水果的数量统计出来，map支持下标访问。

③ 最后，通过优先级队列来建立小堆，回归到topK问题

#include <iostream>
#include <map>
#include <queue>
#include <vector>
using namespace std;

//自定义仿函数，比较map键值的第二个元素即水果出现的次数
struct Compare
{
	bool operator()(map<string, int>::iterator left, map<string, int>::iterator right)
	{
		return left->second < right->second;
	}
};

void GetFavoriteFruit(vector<string>& fruit, size_t K)
{
	//1.通过map统计水果出现的次数
	map<string, int> _map;
	for (int i = 0; i < fruit.size(); ++i)
	{
		_map[fruit[i]]++;
	}
	//2.通过优先级队列来建立最小堆，对水果出现的次数排序
	priority_queue<map<string,int>::iterator, vector<map<string,int>::iterator>, Compare> _pq;
	map<string, int>::iterator it = _map.begin();
	while (it != _map.end())
	{
		_pq.push(it); //将包含水果和出现次数的信息存储于优先级队列
		++it;
	}

	//3.打印出现次数最多的K种水果
	while(K--)
	{
		cout << _pq.top()->first << " " << _pq.top()->second << ",";
		_pq.pop();
	}
}

int main()
{
	vector<string> V;
	V.push_back("苹果");
	V.push_back("香蕉");
	V.push_back("西瓜");
	V.push_back("葡萄");
	V.push_back("哈密瓜");
	V.push_back("菠萝");
	V.push_back("橘子");
	V.push_back("火龙果");
	V.push_back("橙子");
	V.push_back("香蕉");
	V.push_back("葡萄");
	V.push_back("橘子");
	GetFavoriteFruit(V, 3);
	system("pause");
	return 0;
}