文章目录
前言
Leetcode相关题目:215. 数组中的第K个最大元素
如何理解topk问题
**Top K 问题是一个经典的问题,在计算机科学中,它的目标是在一组数据中找到前 K 个最大或最小的元素。**这个问题在许多场景下都很重要,比如搜索引擎的搜索结果排名、数据分析中的热门元素筛选等。
.
在最简单的形式中,给定一个数组(或列表)和一个整数 K,Top K 问题要求返回数组中最大的 K 个元素。例如,如果数组是 [4, 2, 9, 6, 23, 12],而 K = 3,那么答案应该是 [23, 9, 12],因为它们是前三个最大的元素。
.
在C语言中,我们可以使用优先队列(堆)或者快速选择等算法来解决Top K问题。堆是一种特殊的树形数据结构,其中每个父节点的值都大于或等于(对于最大堆)/小于或等于(对于最小堆)其子节点的值。堆排序就是基于堆的排序方法,我们可以利用堆的特性来快速找到最大或最小的元素。
当我们第一次接触这个问题时,我们会想到的方法可能是:
将这个数组建堆,进行堆排序调整为大根堆,然后再取出栈顶的前k个元素就是最大的前k个元素;
可如果我们在这个问题的前提下,再加入几个限制条件:例如
1.改变查找的数据个数——例如:在七千万个数据中找;
2.我们限制程序在执行时的内存空间——让你在1MB的空间里去找这七千万个数据中最大的前十个;
在这两个限制下,我们再去直接使用堆排序是不现实的,所以我们需要用一种更巧妙地方式,但代码的本质上仍然不离开堆排序;
代码逻辑
对于Top K问题,我们首先创建一个最大堆(或最小堆),然后依次将数组中的元素插入堆中。由于堆的性质,每次插入都会保证堆顶元素是最大的。当我们插入 K 个元素后,堆顶的 K 个元素就是我们想要的结果。如果数组中有多个相同的最大元素,堆可能包含多个相同的元素,但这不影响找到前 K 个最大元素。
如果你需要找到最小的 K 个元素,只需在创建堆时使用最小堆即可
解决Top K问题的常见方法主要有以下几种:
. . . .1.堆排序(Heap-based method):这是最常见的方法,使用最大堆(或最小堆)来存储前 K 个元素。首先将所有元素插入堆中,保持堆的性质,然后每次从堆顶取出最大(或最小)元素,将其与数组末尾的元素交换,同时减小堆的大小。重复此过程直到堆的大小为 K。这种方法的时间复杂度为 O(N log K),空间复杂度为 O(K)。. . . .2.快速选择(QuickSelect):这是一种基于分治的随机化算法,适用于大规模数据。基本思想是选取一个“随机”点,然后根据该点将数组分为两部分,使得左边的所有元素都小于或等于该点,右边的所有元素都大于该点。如果点恰好是第 K 大(或小)的元素,那么就找到了答案。否则,根据点的位置在左子数组或右子数组中递归查找。快速选择的平均时间复杂度为 O(N),但最坏情况下为 O(N^2)。
. . . . 3.计数排序(Counting Sort):当数据范围较小且非负时,可以使用计数排序。通过统计每个元素出现的次数,然后直接得到前 K 个元素。这种方法的时间复杂度为 O(N + K),但要求数据范围知道并且较小。
. . . .4.使用哈希表(Hash-based method):对于特定的问题,如在流式数据中实时找出 Top K 的元素,可以使用哈希表来跟踪最近的 K 个最大值。每当有新数据到来时,检查是否比当前第 K 小的值还大,如果是,则替换掉最小的那个,并更新哈希表。这种方法的时间复杂度取决于哈希表的操作,通常为 O(1) 或 O(log K)。
. . . .5,使用平衡二叉搜索树(Balanced BST):例如AVL树或红黑树,可以在 O(log N) 时间内插入和删除元素,从而找到 Top K 元素。但是,插入和删除操作可能会导致树的不平衡,因此维护平衡性是关键。
在这里我们通过堆排序的方法来讲解topk问题;
代码实现
//使用数组的前k个元素构造含有k个元素的小根堆
//从k+1开始遍历,每次和堆顶元素比较,若被遍历到的元素大于堆顶元素,则替换堆顶元素并调整堆,保证堆内的k个元素总是当前最大的k个元素。
void CreateNDate()
{
// 造数据
int n = 100000;
srand(time(0));
const char* file = "data.txt";
FILE* fin = fopen(file, "w");
if (fin == NULL)
{
perror("fopen error");
return;
}
for (int i = 0; i < n; ++i)
{
int x = (rand()+i) % 10000000;
fprintf(fin, "%d\n", x);
}
fclose(fin);
}
void TestHeap3()
{
int k;
printf("请输入k>:");
scanf("%d", &k);
int* kminheap = (int*)malloc(sizeof(int) * k);
if (kminheap == NULL)
{
perror("malloc fail");
return;
}
const char* file = "data.txt";
FILE* fout = fopen(file, "r");
if (fout == NULL)
{
perror("fopen error");
return;
}
// 读取文件中前k个数
for (int i = 0; i < k; i++)
{
fscanf(fout, "%d", &kminheap[i]);
}
// 11:51继续
// 建K个数的小堆
for (int i = (k-1-1)/2; i>=0 ; i--)
{
AdjustDown(kminheap, k, i);
}
// 读取剩下的N-K个数
int x = 0;
while (fscanf(fout, "%d", &x) > 0)
{
if (x > kminheap[0])
{
kminheap[0] = x;
AdjustDown(kminheap, k, 0);
}
}
printf("最大前%d个数:", k);
for (int i = 0; i < k; i++)
{
printf("%d ", kminheap[i]);
}
printf("\n");
}
在这段代码中:
1.函数 CreateNDate()
这个函数用于生成包含 100000 个随机整数的数据文件(data.txt)。首先,它设置随机数种子以确保每次运行时生成不同的随机数序列。
使用 srand(time(0)) 设置随机数种子,time(0) 获取当前时间作为随机数源。
定义文件名 file 和尝试打开文件以写入数据,如果失败,输出错误信息并返回。
使用 for 循环生成随机数,并使用 fprintf 将每个数写入文件,每行一个。
最后,关闭文件。
2.函数 TestHeap3()
用户输入要查找的最小值数量 K。
分配一个大小为 K 的整型数组 kminheap 用于存储前 K 个最小值,如果分配失败,输出错误信息并返回。
读取刚刚生成的数据文件(data.txt)中的前 K 个数,存储在 kminheap 中。
对 kminheap 进行堆化操作(从最后一个非叶子节点开始,调用 AdjustDown 函数),使其成为最小堆。
遍历文件中的剩余数字,如果新读取的数字大于堆顶(最小值),则替换堆顶,并再次调整堆,保持堆的性质。
输出找到的前 K 个最小值。