求top N 在大数据中很常见,主要思路有三种:
1. 先排序,在遍历出最大或最小的N个
2. 通过大小堆,维持一个N个大小的堆,每次和堆顶元素比较,在堆化
3. 中位数的中位数算法BFPRT,
第一种,先排序,排序算法有很多,冒泡排序,快速排序等。时间复杂度是 O(n*log n),这里不详讲。
第二种, 用大小堆,维持一个大小堆,元素个数是N个,遍历数据,和堆顶元素比较,在把堆,堆化,堆化的复杂度是log N,总的时间复杂度是n * log N , N 一般远远小于n,所以比第一种时间复杂度小,效率比第一个方法高。
第三种,中位数的中位数方法,为什么说是中位数的中位数算法BFPRT呢,听起来比较拗口。它的时间复杂度是O(n), 比用大小堆的时间复杂度小,如果N比较小,用推也是不错的选择,毕竟BFPRT的时间复杂度n的系数也不小。
下面主要介绍第三种方法:
中位数的中位数算法BFPRT,思路是用先找到中位数,然后以这个基元找这个中位数的索引,这个索引是大于N还是小于N,舍弃另一部分再做递归。
算法步骤:
1.找到中位数
a. 通过把数据分为n/5份, 每分5个数,然后用插入排序(数据量很少,排序算法都差不多)这五个数得到中位数,得到n/5个中位数,在用相同的方法