164-大数据处理-求topK问题（快排分割算法）

最新推荐文章于 2024-08-28 18:37:28 发布
最新推荐文章于 2024-08-28 18:37:28 发布
阅读量390 收藏 1
点赞数 1
分类专栏： 数据结构与算法 文章标签： 算法 排序算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Edward_LF/article/details/124631848
版权
本文介绍了如何利用快排分割算法有效地解决大数据场景下的求topK问题。通过选取基准数，从两侧分别寻找小于和大于基准数的元素，进行数据划分。通过两次快排，找到前三个最小的元素。平均时间复杂度为O(n)，并讨论了有序序列对时间复杂度的影响。同时，提供了代码实现找前三个小和大的元素的方法。
摘要由CSDN通过智能技术生成

快排分割算法

算法步骤

在这里插入图片描述

  • 找值最小的前3个元素，我们没有必要把全部数据排序。
  • 我们选择一个基准数：64；然后头尾定义i，j；

在这里插入图片描述

  • 从右向左找小于基准数64的，75大于64，18小于64，把18放在左边i的位置上，i++；
  • 然后从左向右找，大于基准数64的；
    在这里插入图片描述
    在这里插入图片描述
  • 找到80大于基准数64&
了解本专栏 订阅专栏 解锁全文 超级会员免费看
liufeng2023
关注
专栏目录
订阅专栏
大数据处理 - 分治/hash/排序
DeveloperFire的博客
02-20 276
分而治之/hash映射: 针对数据太大，内存受限，只能是: 把大文件化成(取模映射)小文件，即16字方针: 大而化小，各个击破，缩小规模，逐个解决hash_map统计: 当大文件转化了小文件，那么我们便可以采用常规的hash_map(ip，value)来进行频率统计。堆/快速排序: 统计完了之后，便进行排序(可采取堆排序)，得到次数最多的IP。
TopK问题
ThreeAspects的博客
12-03 1085
海量数据中寻找TopK问题Top K问题介绍Top K问题举例及解答 Top K问题介绍   所谓的Top K问题：在海量数据中找出出现频率最好的前K个数，或者从海量数据中找出最大的前K个数。例如，在搜索引擎中，统计搜索最热门的10个查询词/在歌曲库中统计下载最高的前10首歌等。针对Top K问题，通常方案是分治+Trie树/Hash+小顶堆，即先将数据集按照Hash方法分解成多个小数据集，然后使...
快排Top k问题
messiandzcy的专栏
06-30 475
刚找回了账号，好久没用了，界面都不认识了。。 打算重新开始更新啦，偶尔回来复习一下，啊哈哈 回归第一题，RT，利用快排的思路求数组中的TopK元素， （注意：题中是要求反馈前TopK个元素，不是第TopK个元素） 思路：先默写快排的Partition，然后修改下快排的QuickSort函数， 每次判断当前基准划分元素所在索引mid，计算mid-low+1 = num 如果num > k, 说明k在mid左边的子数组中，调用self.Quicksort(A,low,mid-1,k) 如果n.
快排求topk问题
deng0515001的博客
09-06 1168
快排思想求topk问题 public static void main(String[] args) { int[] nums = new int[]{5, 3, 2, 10, 8, 1, 4, 9, 3, 12}; int topk = topk(nums, 0, nums.length -1, 3); System.out.print("\t...
【快速选择算法】数组分三段快排选择——TopK问题
最新发布
2302_79031646的博客
08-28 522
快速选择算法解决TopK问题，堆排序与快速选择排序的区别
快排解Top-K问题
qq_35862309的博客
09-06 768
快排解Top-K问题 Top-k问题一直都是特别重要也是面试很常考的题型（听别人说的，其实我一次也没碰到）。我决定研究top-k问题，总结出来一套使用快速排序思路解决Top-k问题的套路，利用快速排序的思想可以将时间复杂度降低，最好状态时间复杂度O(n)空间O（logn）（参照算法导论，其实我根本没看过），相对来说是很快的啦。阅读本文可以解决一下几道题： 215. 数组中的第K个最大元素 347. 前K个高频元素 973. 最接近原点的K个点 快速排序 快速排序是真的非常重要，写法也有好几种，但是因为太重要
快速排序之topk
poppyl917的博客
04-19 1655
使用快排解决top k的问题 解法是最优的 时间复杂度 O(N)，空间复杂度 O(1) public class Qs { public static void main(String[] args) { // TODO Auto-generated method stub System.out.println("dss"); int array[]= {3,2,1,2,5...
TopK算法——基于快排分析
longziling的博客
06-21 655
215. 数组中的第K个最大元素 难度中等1141收藏分享切换为英文接收动态反馈 在未排序的数组中找到第k个最大的元素。请注意，你需要找的是数组排序后的第 k 个最大的元素，而不是第 k 个不同的元素。 示例 1: 输入: [3,2,1,5,6,4] 和 输出: 5 示例2: 输入: [3,2,3,1,2,4,5,5,6] 和 k = 4 输出: 4 说明: 你可以假设 k 总是有效的，且 1 ≤ k ≤ 数组的长度。 ...
C++海量数据处理——topk和查重问题分析
weixin_43825537的博客
06-10 1287
b
【Top -K问题】BFPRT算法与堆
遍地跑小鸡的博客
04-04 254
问题背景：在一大堆数中求其前k大或前k小的问题，简称TOP-K问题。 题目链接 这是一类很经典的问题可以有多种解决的方法，这些方法中包含了一些巧妙的数据结构和算法思想。因此简单的排序取值的方法就不再说了。 方法一： 利用快排实现查找。 按照从大到小排序，然后每次计算多少大于标定值的，每次缩小搜查范围。 class Solution(object): def findKthLargest(s...
topk问题 基于快排解法
weixin_37763484的博客
08-23 202
首先来看快排的基本代码，在最后一行的地方，已经获得了 i，此时arr数组中的前 i 个 元素就是数组中的最小元素，接下来，以找前k个最小元素为例， if __name__ == "__main__": def fast_sort(arr, left, right): if left < right: i = left j = right key = arr[left]
快速排序进阶：解决经典面试topK问题
Royal_lr的博客
04-07 9631
不玩虚的，硬核干货快排解决topK，你值得拥有
分治思想--快速排序解决TopK问题
weixin_30628801的博客
06-01 328
----前言 ​ 最近一直研究算法，上个星期刷leetcode遇到从两个数组中找TopK问题，因此写下此篇，在一个数组中如何利用快速排序解决TopK问题。 先理清一个逻辑解决TopK问题→快速排序→递归→分治思想，因此本章内容会从此逻辑由后往前叙述 何为分治思想？ 从字面上就很容易能够推出"分而治之"，维基百科的解释为"就是把一个复杂的问题分成两个或更多的相同或相似的子问题，...
快速排序及TOP K问题
cy413026的博客
06-13 1964
1.介绍1 https://www.cnblogs.com/itxiaok/archive/2019/02/15/10385676.html 前两天面试3面学长问我的这个问题（想说TEG的3个面试学长都是好和蔼，希望能完成最后一面，各方面原因造成我无比想去鹅场的心已经按捺不住了），这个问题还是建立最小堆比较好一些。 先拿10000个数建堆，然后一次添加剩余元素，如果大于堆顶的数（10000中最小的），将这个数替换堆顶，并调整结构使之仍然是一个最小堆，这样，遍历完后，堆中的10000个数就是所.
Topk快排实现
楠姐的博客
07-12 525
let quickTopK = function (arr, k) { if(k==0)return [] if (arr.length < 2) return arr let midValue = arr.splice(0, 1), left = [], right = [] arr.forEach((el) => { el > midValue ? left.push(el) : right.push(el) }); if (left.length == k) { return lef
快排思想实现Top K
lin的博客
04-04 1178
快排实现Topk 时间复杂度：平均O(N) 利用快排的思想实现，每次可以得到一个元素下标，在这个元素下标左边，所有元素比这个元素小， 在这个元素右边，所有元素都比这个元素大： 如果右边的元素个数等于K-1，则加上当前元素，达到K个，可知TOPK的元素为这K个； 如果右边的元素个数小于K-1, 则在左边范围寻找K-len个元素 如果右边的元素个数大于K-1, 则在右边范围寻找K个元素 #include <iostream> #include <vector> using names
【堆排｜快排】Top-k问题
weixin_45685541的博客
05-27 847
【堆排｜快排】Top-k问题引言两种算法原理大顶堆/小顶堆构造流程：大顶堆的排序流程Golang利用大顶堆算法实现top-k算法快速选择（快排变形）Golang利用大顶堆算法实现top-k算法 引言 决解top-k问题一般有：堆和快排两种思路 两种算法的优劣如下： 快速排序算法的时间、空间复杂度都优于堆排序算法 但是快速排序算法需要修改原数组，如果原来的数组不能修改的话，还需要拷贝一份数组，造成空间复杂度升高 快速排序算法需要保存所有数据后才能选出top-k。如果把数据看成输入流的话，使用堆方法则是
Top K算法
Together_CZ的博客
03-25 8226
1、查找最大的k个元素 1、排序，快速排序。我们知道，快速排序平均所费时间为n*logn，从小到大排序这n个数，然后再遍历序列中后k个元素输出，即可，总的时间复杂度为O（n*logn+k）=O（n*logn）。 2、排序，选择排序。用选择或交换排序，即遍历n个数，先把最先遍历到得k个数存入大小为k的数组之中，对这k个数，利用选择或交换排序，找到k个数中的最小数kmin（kmin设为k个
使用快速排序、堆和桶解决「TopK问题」（Python）
qq_40479372的博客
09-16 1085
TopK问题即求解第K个最大or最小元素的问题，一般使用快排和堆来实现。
并行挖掘：基于MapReduce的Top-k高效用模式算法
"这篇论文探讨了基于MapReduce的top-k高效用模式挖掘算法（TKHUP_MaR），旨在解决数据挖掘中面临的大规模数据处理和效率问题。论文指出，传统的基于树结构和效用表结构的算法在挖掘高效用模式时存在效率低和存储需求...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

liufeng2023

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值