TOPk问题详解

TOPK问题的概念及思路

TOPK问题:即求数据结合中前K个最大的元素或最小的元素,一般情况下数据量都比较大。

比如:专业前10名,世界500强、富豪榜、游戏前100的活跃玩家等。

TOP问题,能想到的最佳单的方式就是排序,但是,如果数据量非常大,排序就不太可取了(可能数据不能一下子全部加载到内存当中,也就是说,内存装不了这么大的数据),最大的办法就是用堆来解决,基本思路如下:

1.用数据集合前K个数据来建堆

1)前K个最大的元素,则建小堆

2)前K个最小的元素,则建大堆

2.用剩余的N-K个元素依次与堆顶元素来比较,不满足则替换堆顶元素

TOPK问题的实现

void AdjustUp(HPDtaType* a, int chlid)
{
	int parent = 0;
	parent = (chlid - 1) / 2;
	while (chlid)//当chlid为零时,循环停止
	{
		if (a[parent] > a[chlid])//当孩子结点大于双亲结点时,就进行交换,
		{
			HPDtaType tmp = a[chlid];
			a[chlid] = a[parent];
			a[parent] = tmp;
			chlid = parent;
			parent = (chlid - 1) / 2;
		}
		else
		{
			break;
		}
	}
}
void Adjustdown(HPDtaType* a, int n, int partent)
{
	int chlid = 0;
	chlid = partent * 2 + 1;
	while (chlid < n)
	{
		if (chlid+1<n&&a[chlid + 1] < a[chlid])
		{
			chlid++;
		}
		if (a[chlid] < a[partent])
		{
			Swap(&a[chlid], &a[partent]);
			partent = chlid;
			chlid = partent;
		}
		else
		{
			break;
		}
	}
}
void HeapInit(HP*hp)//堆的初始化
{
	hp->a = NULL;
	hp->capacity = hp->size = 0;
}
void HeapDestroy(HP*hp)//堆的销毁
{
	free(hp->a);
	hp->a = NULL;
	hp->capacity = hp->size = 0;
}
void HeapPush(HP*hp, HPDtaType x)//往堆里压数据
{
	if (hp->capacity == hp->size)
	{
		int newcapacity = hp->capacity == 0 ? 4 : hp->capacity * 2;
		HPDtaType* tmp = realloc(hp->a, sizeof(HPDtaType)*newcapacity);//如果数组的内存不够,就进行扩容
		if (tmp == NULL)
		{
			printf("realloc fail\n");//如果realloc失败就提示提示并退出
			exit(-1);
		}
		hp->a = tmp;
		hp->capacity = newcapacity;
	}
	hp->a[hp->size] = x;
	AdjustUp(hp->a, hp->size);
	hp->size++;
}
void HeapPrint(HP*hp)//打印数组
{
	for (int i = 0; i < hp->size; i++)
	{
		printf("%d ", hp->a[i]);
	}
	printf("\n");
}
HPDtaType HeapTop(HP*hp)
{
	return hp->a[0];
}

这是我们要用到的接口函数

void PrintTopK(int*a, int n, int k)
{
	HP hp;
	HeapInit(&hp);
	for (int i = 0; i < k; i++)
	{
		HeapPush(&hp, a[i]);
	}
	//剩下的N-K个数跟堆顶去作比较,比他大,就替换他进堆
	for (int i = k; i < n; i++)
	{
		if (a[i]>HeapTop(&hp))
		{
			hp.a[0] = a[i];
			Adjustdown(hp.a, hp.size, 0);
		}
	}
	HeapPrint(&hp);
	HeapDestroy(&hp);
}
void TestTopk()
{
	int n = 1000000;
	int* a = (int*)malloc(sizeof(int)*n);
	srand(time(0));
	for (size_t i = 0; i < n; ++i)
	{
		a[i] = rand() % 1000000;
	}
	// 再去设置10个比100w大的数
	a[9] = 1000000 + 1;
	a[1231] = 1000000 + 2;
	a[5355] = 1000000 + 3;
	a[51] = 1000000 + 4;
	a[15] = 1000000 + 5;
	a[2335] = 1000000 + 6;
	a[9999] = 1000000 + 7;
	a[76] = 1000000 + 8;
	a[423] = 1000000 + 9;
	a[3144] = 1000000 + 10;
	PrintTopK(a, n, 10);
}
int main()
{

	TestTopk();
	return 0;
}

在数组里存了 一百万个数,然后用堆进行排序,最后选出前十个最大的数

  • 3
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
PyTorch的topk函数是用于返回输入张量中指定维度上的前k个最大值及其对应的索引。它的函数签名为torch.topk(input, k, dim=None, largest=True, sorted=True, out=None),返回一个元组,包含最大的k个值组成的张量和它们在输入张量中的索引组成的长整型张量。其中,input是输入张量,k是要返回的最大值的个数,dim是指定的维度,largest决定是否返回最大值(默认为True),sorted决定是否返回排序的结果(默认为True),out是输出的张量。 例如,如果我们有一个输入张量input为[5, 9, 3, 2, 7],我们想要找出其中最大的3个值及其索引,我们可以使用torch.topk(input, 3)。这将返回一个包含[9, 7, 5]的张量和一个包含[1, 4, 0]的长整型张量,分别表示最大的3个值和它们在输入张量中的索引。 在具体的代码中,maxk = max(topk)用于获取topk列表中的最大值,而output.topk(maxk, 1, True, True)则是对output进行topk操作,返回最大值和对应的索引。这种用法可以帮助我们在代码中获取最大的k个值及其索引。 总结来说,PyTorch的topk函数可以帮助我们在指定维度上找出输入张量中的最大值及其对应的索引。这在许多机器学习和深度学习任务中非常有用。如果想要了解更多关于topk函数的用法,可以参考PyTorch官方中文文档或者一篇介绍topk函数用法的文章。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [pytorch 中的topk函数](https://blog.csdn.net/u012505617/article/details/103711019)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *3* [PyTorch中topk函数的用法详解](https://download.csdn.net/download/weixin_38628150/12856649)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值