本文介绍了如何在Spark 2.0+版本中利用approxQuantile函数来计算数据的中位数和分位数，包括Greenwald-Khanna算法的应用。对于Spark 2.2及更高版本，还展示了对多列的估计方法。对于Spark 2.0以下版本，文章提供了一种基于排序和采样的解决方案，并通过测试验证了其准确性。此外，还提到了使用HiveContext进行计算的选项。
火花2.0+：
你可以用approxQuantile实现Greenwald-Khanna算法:
Python:df.approxQuantile("x", [0.5], 0.25)
斯卡拉:df.stat.approxQuantile("x", Array(0.5), 0.25)
其中最后一个参数是一个相对错误。次数越少，计算结果越准确，计算量越大。
星火2.2(火花-14352)它支持对多列的估计：df.approxQuantile(["x", "y", "z"], [0.5], 0.25)
和df.approxQuantile(Array("x", "y", "z"), Array(0.5), 0.25)
火花<2.0
Python
正如我在评论中提到的，这很可能不值得大惊小怪。如果数据相对较小，比如在您的情况下，那么只需在本地收集和计算中值：import numpy as np
np.random.seed(323)rdd = sc.parallelize(np.random.randint(1000000, size=700000))%time np.median(rdd.collect())np.array(rdd.collect()).nbytes
在我几年前的电脑上，它需要大约0.01秒的时间和大约5.5MB的内存。
如果数据要大得多，排序将是一个限制因素，因此，与其获得确切的值，不如在本地进行采样、收集和计算。但是，如果你真的想让一个人使用星火，这样的事情应该能起作用(如果我什么都没搞砸的话)：
最低0.47元/天 解锁文章
扫一扫
80
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
