面试官【谈谈你所理解的 TopK 问题】

9 篇文章 0 订阅
5 篇文章 0 订阅

在实际工作中,经常会遇到在海量数据中找出前K个最值的问题。对于此类问题,可能我们一般想到的算法是排序算法,首先给数据进行排序,再去获取k个最值轻而易举。但是当问题的规模内存中放不下时,普通的内排序就无法进行。对于海量数据的topk问题,一种常用的做法是借助解决。

1.原理

如果需要获取最大的k个值,可以建小堆。否则,建大堆。我们以获取k个最大值为例,进行原理说明。

  • 首先读入前k个数据存入一个最小堆。
  • 然后遍历后续的数据,对于每一个遍历的数据,都和堆顶(k个数据中最小的)数据比较,如果比堆顶数据小,则继续遍历后续数据。如果比堆顶数据大,则删除堆顶元素,存入当前遍历到的数据。整个过程直到所有数据遍历完为止。
public PriorityQueue<Integer> topK(int[] nums, int k) {
        //优先级队列:通过堆实现的容器,默认小堆
        PriorityQueue<Integer> minQueue = new PriorityQueue<>();
        //堆内只保存k个元素
        for (int num : nums) {
            //当堆中的元素个数小于k时,往堆中插入元素;
            //当堆顶元素的值小于当前元素的值的时候,插入当前元素
            if (minQueue.size() < k || num > minQueue.peek())
                minQueue.offer(num);
            //到这里的话,堆中的元素已经为k+1,所以弹出最小值
            if (minQueue.size() > k)
                minQueue.poll();
        }
        return minQueue;
    }

    public List<Integer> findTopKLargest(int[] nums, int k)
    {
        PriorityQueue<Integer> mQ = topK(nums, k);
        List<Integer> list = new ArrayList<>();
        while(!mQ.isEmpty())
        {
            list.add(mQ.poll());
        }
        return list;     //list中的数据就为最后第k大的k个数据
    }  

注意:
Java 中 PriorityQueue 通过二叉小顶堆实现,可以用一棵完全二叉树表示。优先队列的作用是能保证每次取出的元素都是队列中权值最小的,元素大小的评判可以通过元素本身的自然顺序(natural ordering),也可以通过构造时传入的比较器(Comparator)。Java 中 PriorityQueue 实现了 Queue 接口,不允许放入 null 元素;其通过堆实现,具体说是通过完全二叉树(complete binary tree)实现的小顶堆(任意一个非叶子节点的权值,都不大于其左右子节点的权值),也就意味着可以通过数组来作为PriorityQueue的底层实现。
在这里插入图片描述
在这里插入图片描述

2.时间复杂度

如果数据量为n,找到topK个元素,则每次堆的插入和删除时间复杂度为logk。最坏情况下,对于每一个元素都要进行堆的插入和删除,则最坏时间复杂度为O(nlogk),最好情况下,前k个元素即为topK个元素,堆不需要进行调整,则最好时间复杂度为O(n)。

3.空间复杂度

需要一个大小为k的堆保存topK个元素,故空间复杂度为O(k)。

4.使用场景

topK的场景非常多,比如,有海量个查询字符串记录,统计最热门的K个查询串。从一个大文件中找出频数最高的K个词。找出某日访问网站次数最多的K个IP。 只要涉及到从数据中找出k个最值的问题都属于topK问题。
在这里插入图片描述

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值