Spark SQL PERCENTILE分析调研

最新推荐文章于 2022-11-22 16:08:09 发布
最新推荐文章于 2022-11-22 16:08:09 发布
阅读量2.2k 收藏
点赞数
分类专栏： 大数据 spark sparksql 文章标签： spark hive 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lverson116/article/details/115308687
版权

目录

 

Spark percentile原理

Hive percentile

Spark percentile

优化方案

Spark percentile原理

https://zhuanlan.zhihu.com/p/340626739

https://www.cnblogs.com/myseries/p/10880641.html

Hive percentile

采用的是特殊的数据结构，先通过一轮聚合把每个数值出现的次数用元组的形式存储起来，再通过内存中元组的取值排序取到分位值。所以 Hive 需要在 UDAF 的计算中将数据进行压缩或预处理，那么 Mapper 是需要在生成时不断通过聚合计算更新，其内部实现基于 histogram。

数据集：

[1, 1, 1, 2, 2, 2, 3, 4, 4, 5, 6, 7, 8, 9, 9, 10, 10]

histogram ：

[(1, 3), (2, 3), (3, 1), (4, 2), (5, 1), (6, 1), (7, 1), (8, 1), (9, 2), (10, 2)]

分析：这里的开销主要在一次聚合时，由于通常作为分位数字段数据较为分散，因此第一步需要分组聚合组成histogram，第二步将histogram移到一个节点中进行排序取分位值

Spark percentile

在hive percentile的基础上将&

最低0.47元/天 解锁文章
Sqark Sql 的percentile_approx计算中位数
m0_69097184的博客
09-28 1909
percentile_approx` 聚合函数，用于计算指定列的近似分位数。具体来说，`percentile_approx` 函数的参数包括三个部分：- 第一个参数是要计算分位数的列，这里使用 `$"order_money"` 表示使用名为 "order_money" 的列进行计算。- 第二个参数是要计算的分位数的百分比，这里使用 `lit(0.5)` 表示计算中位数（50% 的分位数）。
【硬刚大数据之面试篇】2021年从零到大数据专家面试篇之Hive篇
微信搜：import_bigdata，大数据领域硬核原创作者
08-12 1651
欢迎关注博客主页：https://blog.csdn.net/u013411339 欢迎点赞、收藏、留言 ，欢迎留言交流！本文由【王知无】原创，首发于 CSDN博客！本文首发CSDN论坛，未经过官方和本人允许，严禁转载！ 本文是对《【硬刚大数据之学习路线篇】2021年从零到大数据专家的学习指南(全面升级版)》的面试部分补充。 硬刚大数据系列文章链接： 2021年从零到大数据专家的学习指南(全面升级版) 2021年从零到大数据专家面试篇之Hadoop/HDFS/Yarn篇 2.
Spark 百分位计算
weixin_42212259的博客
05-16 1422
Spark 百分位计算使用spark进行百分位计算百分位计算方式1百分位计算方式2 使用spark进行百分位计算 目前网上较普遍的方案是对所有原始数据进行排序后，取第百分位数的值，简单有效，但需要对所有数据进行排序，在实际使用场景上，更多的情况是待排序的批量数据中大部分是重复，能否去掉重复数据的排序呢？ 百分位计算方式1 stackoverflow关于百分位计算 对数据进行排序 为排序号的数据建立索引 转成“索引-数据”键值对 计算数据总量 计算百分位位置 查找数据 int count=javaRdd.
Spark 用代码实现求分位数Percentile（Quentile）的方法
元元的李树专栏
03-16 1万+
参考下文得到的启发 https://stackoverflow.com/questions/28805602/how-to-compute-percentiles-in-apache-spark 简单说明下分位数的定义 Scala求分位数的方法： /** * compute percentile from an unsorted Spark RDD * @param ...
spark 实现百分位数计算
weixin_43378045的博客
05-18 5992
spark实现百分位数计算 工作需要 要计算百分位数 但是 spark core 不支持计算 百分位数 一.可以使用 spark sql 计算 但是 他操作起来 很不方便 select percentile_approx(tb_sku.sku_stddv,cast(array(0.2, 0.40, 0.60, 0.80) as array)) from tb_sku 其中 percentile_a...
scala spark sql 获得分组后的分位点
乱七八糟的笔记
03-03 2907
SELECT PERCENTILE(orders, 0.5) OVER (PARTITION BY deal_id, type) as per50, PERCENTILE(orders, 0.25) OVER (PARTITION BY deal_id, type) as per25, PERCENTILE(orders, 0.75) OVER (PARTITION BY deal_id, type) as per75, * from temp 为了获得orders这个字段在每个deal_id,.
如何找到使用中位数星火(How to find median using Spark)
huobanjishijian的专栏
10-28 2051
 问 题 How can I find median of a rdd of integers using a distributed method, IPython, and Spark? The rdd is approximately 700,000 elements and therefore too large to collect and find the medi
RedShift 到 MaxCompute 迁移实践指导
数据库技术
11-09 478
1.概要 本文档详细介绍了Redshift和MaxCompute之间SQL语法的异同。这篇文档有助于加快sql任务迁移到MaxCompute。由于Redshift和MaxCompute之间语法存在很多差异，因此我们需要修改Redshift上编写的脚本,然后才能在MaxCompute中使用，因为服务之间的SQL方言不同。 2.迁移前RedShift于MaxCompute的各项对比差异 2.1.1数据类型对比及类型转化 类别 MaxCompute
【题库V2.0数据分析与处理】：从数据到洞察力的转化策略，数据分析师必读
![【题库V2.0数据分析与处理】：从数据到洞察力的转化策略，数据分析师必读]...在信息时代，数据处理与分析成为支撑科学决策与业务创新的核心。本文从数据处理的必要性出发，详细介绍了数据收集与
数据库设计：理论与现实需求的完美融合，打造高效数据组织
本文首先回顾了数据库设计的基础理论，继而探讨了需求分析与数据库设计的关联性，以及实践技巧在提高性能和优化方面的应用。文章深入分析了分布式数据库、非关系型数据库以及大数据与数据仓库设计的高级主题，并通过...
percentile:计算给定值数组的百分位数
08-04
百分位 计算给定值数组的百分位数。 安装 npm install percentile 用法 // With simple values const percentile = require ( "percentile" ) ; console . log ( percentile ( 80 , [ 1 , 2 , 3 , 4 , 5 , 6 , 7 , 8 , 9 , 10 ] ) ) ; // 8 // With complex values const percentile = require ( "percentile" ) ; const result = percentile ( 80 , [ { val : 1 } , { val : 2 } , { val : 3 } , { val : 4 } , { val : 5 } , { val : 6
Scala107-Spark.sql中计算中位数
此心安处是吾乡
01-27 3246
创建数据框 import org.apache.spark.sql.functions._ import spark.implicits._ import org.apache.spark.ml.feature.VectorAssembler import org.apache.spark.ml.linalg.{Vector, Vectors} import org.apache.spark.sql.{DataFrame, Row, SparkSession} import org.apache.spar
分位数计算
MISAYAONE的博客
03-06 1957
什么是分位数？ approx_percentile 聚合函数 - Azure Databricks | Microsoft Docs 如何通俗地理解分位数？ - 知乎 (zhihu.com) 简单理解分位数就是一个从大到小排列的队伍中，用几分之几的形式来表达你当前所处的位置。 比如在中间，就是1/2分位数，其他再比如1/4分位数，2/5分位数等等。 函数表达式： Functions - Spark SQL, Built-in Functions (apache.org) 可以直接解决
Spark SQL内置函数
admin_15082037343的博客
03-11 3887
Spark版本号：2.4.3，Spark SQL命令行输入 show functions; 示例 abs：取绝对值 > select abs(-10); +------+ | _c0 | +------+ | 10 | +------+ acos：反余弦函数 > select acos(0.5); +---------------------+ | ...
HiveSQL分位数函数percentile()使用详解+实例代码
Huangjiazhen711的博客
11-22 6293
作为数据分析师每个SQL数据库的函数以及使用技能操作都得点满，尤其是关于统计函数的使用方法。关于统计出数据的中位数，众数和分位数的方法必须掌握几种，一般在实际业务上大部分都是以写SQL查询为主，因为如果想用Python的Pandas去做数据分析还得将数据导出来读出来，输出了结果还得再倒进去，十分的麻烦。若是能在SQL上面直接处理简单问题，那么效率要远高于导出做Pandas处理。
使用Sparksql计算数据库表中某一列字段的中位数
linke1183982890的博客
10-22 4325
该方法是基于Sparksql内置函数进行计算 我先上代码： dataset和columnName最为参数，columnName是字段名，dataset是什么不说了，首先通过得到columnName字段在dataset中的下标位置，再通过withColumn在dataset表最后添加一列"tmpRowNumber",该列是通过row_number().over(Window.orderBy(col...
Spark OpenHashMap分析
不说话装高手
09-06 978
Spark的OpenHashMap比jdk的HashMap快5倍，也会花费更少的空间。 protected var _keySet = new OpenHashSet[K](initialCapacity) 在OpenHashMap中，key将会存储在一个OpenHashSet中，因此先看到OpenHashSet的实现。 protected var _bitset = new BitSe...
pandas中计算分位数的方法describe，quantile，以及sql中计算分位数的方法percentile_approx,percent_rank() over()
热门推荐
dair6的博客
11-16 2万+
1.pandas中计算分位数的方法describe，quantile 准备一张表 def test(): df = pd.DataFrame({'a':[1,2,3],'b':[4,5,6],'c':['d','e','f']}) print(df) 表结构如下： （1）p分位数原理和计算过程 例：a =[20,10,30]，求这组数的四分之一，二分之一，四分之三分位数，即p=0.25,p=0.5,p=0.75的情况 1.从小到大排序[10,20,30]，长度n = len(a) = 3
Spark数据统计指标计算
SunnyRivers
05-15 6019
前言 在机器学习训练模型时，如果遇到空值，一般有三种处理方法，分别是删除法、替换法和插补法。删除法是指当缺失的观测比例非常低时（如5%以内），直接删除存在缺失的观测，或者当某些变量的缺失比例非常高时（如85%以上），直接删除这些缺失的变量；替换法是指用某种常数直接替换那些缺失值，例如，对连续变量而言，可以使用均值或中位数替换，对于离散变量，可以使用众数替换；插补法是指根据其他非缺失的变量或观测来预...
sql percentile
最新发布
06-09
在 SQL 中，可以使用 PERCENTILE_CONT 或 PERCENTILE_DISC 函数来计算百分位数（percentile）。这些函数需要两个参数：一个是百分位数，另一个是要计算的列。PERCENTILE_CONT 函数返回连续的百分位数，而 PERCENTILE_DISC 函数返回离散的百分位数。 例如，以下 SQL 查询将返回 "my_column" 列的第 75 个百分位数： ``` SELECT PERCENTILE_CONT(0.75) WITHIN GROUP (ORDER BY my_column) FROM my_table; ``` 类似地，以下 SQL 查询将返回 "my_column" 列的第 90 个离散百分位数： ``` SELECT PERCENTILE_DISC(0.9) WITHIN GROUP (ORDER BY my_column) FROM my_table; ``` 注意，在某些 DBMS 中，可能需要使用不同的语法或函数来计算百分位数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值