【场景】大数据面试场景题 - 堆
之前介绍过 Bitmap、Bloom Filter 和 Hash,今天介绍堆。
【场景】大数据面试场景题 - Bitmap
【场景】大数据面试场景题 - Bloom Filter
【场景】大数据面试场景题 - Hash
适用范围:海量数据前 n 大,并且 n 比较小,堆可以放入内存。
基本原理:大顶堆求前 n 小,小顶堆求前 n 大。方法,比如求前 n 小,我们比较当前元素与大顶堆里的最大元素,如果它小于最大元素,则应该替换那个最大元素,将堆顶元素 pop 掉,再插入新元素。这样最后得到的 n 个元素就是最小的 n 个。适合大数据量,求前 n 小,n 的大小比较小的情况,这样可以扫描一遍即可得到所有的前 n 元素,效率很高。
问题实例:100 万个数中找出最大的 100 个数。
建立一个大小为 100 的小顶堆。遍历 100 万个数,堆中元素个数小于 100 时直接插入,堆中元素个数等于 100 个时与堆顶元素比较大小。如果当前元素大于堆顶元素,则将堆顶元素出堆,将该元素入堆。遍历结束后堆中的元素即为最大的 100 个元素。复杂度为 O(100w * lg100)。