python 整合同类数据求分位值_如何用Sp求中值和分位数

火花2.0+：

Python：df.approxQuantile("x", [0.5], 0.25)

斯卡拉：df.stat.approxQuantile("x", Array(0.5), 0.25)

其中最后一个参数是相对误差。数值越小，结果越精确，计算量越大。

由于Spark 2.2(SPARK-14352)，它支持对多个列的估计：df.approxQuantile(["x", "y", "z"], [0.5], 0.25)

以及df.approxQuantile(Array("x", "y", "z"), Array(0.5), 0.25)

火花&lt；2.0

Python

正如我在评论中提到的，这很可能不值得大惊小怪。如果数据相对较小(如您的情况)，则只需在本地收集和计算中值：import numpy as np

np.random.seed(323)

rdd = sc.parallelize(np.random.randint(1000000, size=700000))

%time np.median(rdd.collect())

np.array(rdd.collect()).nbytes

在我那台几年前的电脑上大约需要0.01秒，内存大约为5.5MB。

如果数据要大得多，排序将是一个限制因素，因此与其获得确切的值，不如在本地进行采样、收集和计算。但如果你真的想用星火，像这样的东西应该能起到作用(如果我没有搞砸任何事情的话)：from numpy import floor

import time

def quantile(rdd, p, sample=None, seed=None):

"""Compute a quantile of order p ∈ [0, 1]

:rdd a numeric rdd

:p quantile(between 0 and 1)

:sample fraction of and rdd to use. If not provided we use a whole dataset

:seed random number generator seed to be used with sample

"""

assert 0 <= p <= 1

assert sample is None or 0 < sample <= 1

seed = seed if seed is not None else time.time()

rdd = rdd if sample is None else rdd.sample(False, sample, seed)

rddSortedWithIndex = (rdd.

sortBy(lambda x: x).

zipWithIndex().

map(lambda (x, i): (i, x)).

cache())

n = rddSortedWithIndex.count()

h = (n - 1) * p

rddX, rddXPlusOne = (

rddSortedWithIndex.lookup(x)[0]

for x in int(floor(h)) + np.array([0L, 1L]))

return rddX + (h - floor(h)) * (rddXPlusOne - rddX)

还有一些测试：np.median(rdd.collect()), quantile(rdd, 0.5)

## (500184.5, 500184.5)

np.percentile(rdd.collect(), 25), quantile(rdd, 0.25)

## (250506.75, 250506.75)

np.percentile(rdd.collect(), 75), quantile(rdd, 0.75)

(750069.25, 750069.25)

最后让我们定义中值：from functools import partial

median = partial(quantile, p=0.5)

到目前为止还不错，但在没有任何网络通信的情况下，本地模式需要4.66秒。也许有办法改善这一点，但为什么还要费心呢？

与语言无关(Hive UDAF)：

如果使用HiveContext，也可以使用配置单元UDAFs。积分值：rdd.map(lambda x: (float(x), )).toDF(["x"]).registerTempTable("df")

sqlContext.sql("SELECT percentile_approx(x, 0.5) FROM df")

连续值：sqlContext.sql("SELECT percentile(x, 0.5) FROM df")

在percentile_approx中，可以传递一个额外的参数，该参数确定要使用的记录数。