【算法精练】Top K问题

topK问题是一个经典的海量数据处理问题,比如热搜上每天都会更新出排行前10的热门搜索信息,再或者通过大数据找出陕西省人最爱吃的水果等,都可以使用topK问题来解决,其核心思想就是最小堆的引入。

topK问题分析

在海量数据中找出出现频率最高的前k个数,或者从海量数据中找出最大的前k个数,这类问题通常被称为top K问题。

下面我们通过一个简单的示例来说明:假如面试官给你100W个数据,请找出其中最大的前K个数,并且现在仅仅有1M的空间?

在32位操作系统中,默认一个字为4字节,则有以下运算:

NeedSize = 100w * 4 / 1024 / 1024 = 4 M

计算结果约等于4M,很显然1M的空间根本不够。也就是说,即使用最复杂的方法排序你也无法找到一个合适的空间来存储,因此引入了最小堆的数据结构。

当然假如这道题不再限制空间的大小,你会如何解决?可能不少人会说排序啊,下面我给大家证明一下时间复杂度:

设在n个数中找出最大的前k个数(n远大于k)

1>排序的时间复杂度:O(n^22>最小堆的时间复杂度:

         ①建堆:klogk (logk是以2为底)

         ②比较+调整:(n-k)* logk 

若:klogk + (n-k)*logk > n^2,则排序的时间复杂度低.

即:k > 2^n.

因为:k远小于n

所以:此情况不存在,最小堆的时间复杂度最优.

我只说核心实现思路,不再獒述堆的实现,对此不解的查看最大堆和最小堆。思路如下:

① 定义两个数组,arr用于存储海量数据,top用于存储最小堆(底层数据结构借助vector)。

② 将海量数据的前k个元素先填满top堆。

③ 调整top堆为最小堆结构。

④ 通过遍历将新数据与堆顶元素(此时堆顶元素最小)比较,大于堆顶元素就入堆,并下调堆结构。

⑤ 遍历结束,则堆中的元素即n个数中最大的前k个数。
//topK.h
#pragma once
#include <iostream>
#include <assert.h>
#include <time.h>
#define K 10
#define N 100000
using namespace std;
//向下调整(最小堆)
template<class T>
void Adjustdown(T* top, size_t root)
{
	assert(root < K);
	size_t parent = root;
	size_t child = 2 * parent + 1;
	while (parent < K)
	{
		//右孩子存在且小于K且右孩子小于左孩子
		if (child + 1 < K && top[child + 1] < top[child])
			child++;//将child指向更小的结点
		//当前较小孩子小于父节点时交换,并下滤
		if (child < K && top[child] < top[parent])
		{
			std::swap(top[child], top[parent]);
			parent = child;
			child = child << 1 + 1;
		}
		else
			break;
	}
}
template<class T>
void topK(T *arr, T *top)
{
	assert(K < N);
	//将top数组存储满
	for (size_t i = 0; i < K; ++i)
	{
		top[i] = arr[i];
	}
	//下调
	for (int j = (K - 2) >> 1; j >= 0; --j)
	{
		Adjustdown(top, j);
	}
	for (size_t k = K; k < N; ++k)
	{
		if (top[0] < arr[k])//堆顶小于新比较的元素交换
		{
			std::swap(top[0], arr[k]);
			Adjustdown(top, 0);//调整最小堆的结构
		}
	}
	//遍历完成,top数据内存储的就是最大的前K个数
	for (size_t idx = 0; idx < K; ++idx)
	{
		cout << top[idx] << " ";
	}
	cout << endl;
}
//test.cpp
#include "topk.h"
void Test()
{
	int arr[N] = { 0 };
	int top[K] = { 0 };
	srand((unsigned)time(0));//随机种子
	for (size_t idx = 0; idx < N; ++idx)
	{
		arr[idx] = rand()%1234;
	}
	topK(arr, top);
}
int main()
{
	Test();
	system("pause");
	return 0;
}

CVTE笔试题之topK问题

问题描述:本公司现在要给公司员工发波福利,在员工工作时间会提供大量的水果供员工补充营养。由于水果种类比较多,但是却又不知道哪种水果比较受欢迎,然后公司就让每个员工报告了自己最爱吃的k种水果,并且告知已经将所有员工喜欢吃的水果存储于一个数组中。然后让我们统计出所有水果出现的次数,并且求出大家最喜欢吃的前k种水果。

算法分析:往往在笔试过程中,要在很短的时间内写出一个算法,调用标准库里面的东西是很方便的,比如CVTE这道题就是对STL中三种容器的考察:具体步骤如下:

① 首先,使用vector来存储所有的水果。

② 其次,采用map将vector中存在的水果的数量统计出来,map支持下标访问。

③ 最后,通过优先级队列来建立小堆,回归到topK问题

#include <iostream>
#include <map>
#include <queue>
#include <vector>
using namespace std;

//自定义仿函数,比较map键值的第二个元素即水果出现的次数
struct Compare
{
	bool operator()(map<string, int>::iterator left, map<string, int>::iterator right)
	{
		return left->second < right->second;
	}
};

void GetFavoriteFruit(vector<string>& fruit, size_t K)
{
	//1.通过map统计水果出现的次数
	map<string, int> _map;
	for (int i = 0; i < fruit.size(); ++i)
	{
		_map[fruit[i]]++;
	}
	//2.通过优先级队列来建立最小堆,对水果出现的次数排序
	priority_queue<map<string,int>::iterator, vector<map<string,int>::iterator>, Compare> _pq;
	map<string, int>::iterator it = _map.begin();
	while (it != _map.end())
	{
		_pq.push(it); //将包含水果和出现次数的信息存储于优先级队列
		++it;
	}

	//3.打印出现次数最多的K种水果
	while(K--)
	{
		cout << _pq.top()->first << " " << _pq.top()->second << ",";
		_pq.pop();
	}
}

int main()
{
	vector<string> V;
	V.push_back("苹果");
	V.push_back("香蕉");
	V.push_back("西瓜");
	V.push_back("葡萄");
	V.push_back("哈密瓜");
	V.push_back("菠萝");
	V.push_back("橘子");
	V.push_back("火龙果");
	V.push_back("橙子");
	V.push_back("香蕉");
	V.push_back("葡萄");
	V.push_back("橘子");
	GetFavoriteFruit(V, 3);
	system("pause");
	return 0;
}
©️2020 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值