pyspark-histogram详解

最新推荐文章于 2021-08-23 20:03:39 发布

TaoTao Li

最新推荐文章于 2021-08-23 20:03:39 发布

阅读量3.3k

点赞数 1

分类专栏： spark 文章标签： spark

本文链接：https://blog.csdn.net/hit0803107/article/details/52807485

版权

4 篇文章 0 订阅

订阅专栏

最近学习Spark，我主要使用pyspark api进行编程，

网络上中文的解释不是很多，api官方文档也不是很容易明白，我结合自己的理解记录下来，方便别人参考，也方便自己回顾吧

histogram(buckets)

输入参数buckets可以是一个数字，也可以是一个列表

输出结果为一个元组，元组包含两个列表分别是桶和直方图

例如：对一个0到50的序列组成的列表，

buckets是数字时

>>> rdd = sc.parallelize(range(51))
>>> rdd.histogram(2)
([0, 25, 50], [25, 26])

参数buckets是2，输出两部分，[0,25,50]是桶，[25,26]是各个桶分布内的频数

buckets是列表时

>>> rdd.histogram([0, 5, 25, 50])
([0, 5, 25, 50], [5, 20, 26])

参数buckets是[0,5,25,50]，输出两部分，[0,5,25,50]是桶，[5,20,26]是各个桶分布内的频数

>>> rdd = sc.parallelize(["ab", "ac", "b", "bd", "ef"])
>>> rdd.histogram(("a", "b", "c"))
(('a', 'b', 'c'), [2, 2])

总结以下几点：

1、histogram 用来根据给定的参数buckets，计算直方图分布结果, buckets参数可以是一个数字，也可以是一个列表

2、所有直方图的结果集合区间右边是开区间，最后一个区间除外

例如 : 结果[0，25, 50] 表示的桶结果是 [0，25),[25,50], 即，0 <= x < 25, 25 <= x <= 50

3、桶必须是排好序的，并且不包含重复元素，至少有两个元素

例如：结果[0，25，50]是从小到大有序的，且至少包含两个元素

4、如果参数buckets是一个数字，它会生成一个由RDD的最大值和最小值之间均匀分布的桶，

例如: 如果最小值是0，最大值是100，给定buckets等于2，桶的结果是[0,50),[50,100]

如果RDD包含无穷大，buckets必须至少是1

如果RDD中的元素不变，min等于max，总是返回一个桶

关注