hive sql计算分位数

最新推荐文章于 2024-02-01 11:56:28 发布
最新推荐文章于 2024-02-01 11:56:28 发布
阅读量8.7k 收藏 8
点赞数
分类专栏： 数据分析 文章标签： sql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41555408/article/details/119715709
版权

在观察数据的大致分布时，分位数是个常用的统计值，下面介绍在hive sql中计算分位数的语法

hive sql中计算分位数的函数：PERCENTILE_APPROX（适用于大数据量）

  • 使用格式：
-- 以数组形式返回多个百分位近似计算结果。
array<double> percentile_approx (double <colname>, array(<p1> [, <p2>...]) [, <B>])
  • 参数说明
    colname：必填。值为DOUBLE类型的列。
    p：必填。需要近似的百分位数。取值为[0.0,1.0]。
    B：精度参数。精度越高产生的近似值误差越小。如果不设置该参数，默认值为10000。当colname中值的数目小于B时，将给出精确的百分位值。
  • 返回值说明
    返回DOUBLE或ARRAY类型。如果设置多个分位数则返回ARRAY类型，只设置一个时，返回DOUBLE类型。

计算过程：

  1. 先对指定列升序排列，并从1开始依次编号，比如有一列数据为[40，50，20，10，30]，先升序排列为[10，20，30，40，50]，再依次编号为[1，2，3，4，5]
  2. 计算该列p百分位点，比如p为0.7，则5*0.7=3.5
  3. 计算第p位百分数对应的值，3.5表示值位于编号3和4之间，结果为30+(40-30)×0.5=35。

参考链接：PERCENTILE_APPROX

Sophia要一直努力
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HiveSQL的编译过程
02-26
1、Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的HiveETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。在几次升级Hive的过程中，我们遇到了一些大大小小的问题。通过向社区的咨询和自己的努力，在解决这些问题的同时我们对Hive将SQL编译为MapReduce的过程有了比较深入的理解。对这一过程的理解不仅帮助我们解决了一些Hive的bug，也有利于我们优化HiveSQL，提升我们对Hive的掌控力，同时有能力去定制一些需要的功能。详细讲解SQL编译为MapReduce之
mysql 求90分位sql
旧巷里的旧少年
11-22 986
百分位数指的是给定数据集中一部分数据的值小于或等于该百分位数，而其他数据的值大于该百分位数。在MySQL中，我们可以使用特定的SQL语句来计算90分位数。函数使用插值的方法来计算百分位数，即通过线性插值来估算非整数百分位数的值。该函数接受两个参数：百分位数（0到1之间的小数）和用于计算百分位数的列。以上类图显示了一个名为的类，该类具有，和属性，以及一个方法用于计算百分位数。上述SQL查询的结果将是，这意味着90%的成绩小于或等于91.4。以下是计算90分位数的SQL查询的示例序列图。
Hive SQL语法总结
01-20
Hive是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，它架构在Hadoop之上，通过SQL来对数据进行操作，了解SQL的人，学起来毫不费力。 Hive 查询操作过程严格遵守Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。Hive 并非为联机事务处理而设计，Hive 并不提供实时的查询和基于行级的数据更新操作。Hive 的最佳使用场合是大数据集的批处理作业，例如，网络日志分析。 下面我们就为大家总结了一些H
Hive sql系统学习教程
06-24
Hive SQL是基于Hadoop的数仓解决方案之一，它提供了类似于SQL的数据操作语言和丰富的数据处理函数，可以帮助我们快速地从大量的非结构化和半结构化数据中提取有意义的信息。 Hive SQL主要包括以下内容： 建表语句：可以通过Hive SQL创建表格，并定义列名、数据类型、分隔符等属性。 数据加载语句：可以将数据从本地文件系统或HDFS中导入到Hive表中。 数据查询语句：可以通过类似于SQL的语法查询Hive表中的数据，并支持聚合操作、过滤条件等操作。 数据转换语句：可以通过Hive SQL进行数据转换，例如数据清洗、转换、合并等操作。 数据导出语句：可以将Hive表中的数据导出到本地文件系统或HDFS中。 总体而言，Hive SQL是面向数据仓库的一种数据操作语言，它使用类似于SQL的语法，同时又能够利用Hadoop的分布式计算能力对海量数据进行处理。
SQL、Hive SQL等SQL血缘解析工具
01-14
// 测试用例如下 // 设置元数据服务 Delegate.getDelegate().setMetaColumnService(new IMetaColumnService() { @Override public List<String> queryMetaColumn(String dbName, String tableName) { return Collections.emptyList(); } @Override public boolean clearMetaColumnCache() { return true; } }); // 设置通知服务 Delegate.getDelegate().setNoticeService(s->{}); // 具有子查询的sql String hql = "select id,name from (select id from table_1 where id={p0}) t1 inner join (select name --this is name\n from table_2) t2"; // 获取id字段的血缘 LineageNode idNode = Delegate.getDelegate().getLineage(hql, "id"); // 获取name字段的血缘 LineageNode nameNode = Delegate.getDelegate().getLineage(hql, "name"); // 打印血缘 Utils.printLineage(idNode,nameNode);
HiveSQL分位数函数percentile()使用详解+实例代码
master_hunter的博客
09-01 1万+
作为数据分析师每个SQL数据库的函数以及使用技能操作都得点满，尤其是关于统计函数的使用方法。关于统计出数据的中位数，众数和分位数的方法必须掌握几种，一般在实际业务上大部分都是以写SQL查询为主，因为如果想用Python的Pandas去做数据分析还得将数据导出来读出来，输出了结果还得再倒进去，十分的麻烦。若是能在SQL上面直接处理简单问题，那么效率要远高于导出做Pandas处理。
sql 求分位数
chensq_yinhai的博客
08-17 1万+
– 1 oracle求分位数 SELECT RES3.ORG_NO_5, RES3.YM , -- X1的上四分位数 PERCENTILE_CONT(0.75) WITHIN GROUP(ORDER BY RES3.X1 ASC) AS X1_75, -- X1的上中位数 PERCENTILE_CONT(0.50) WITHIN GROUP(ORDER BY RES3.X1 ASC) AS X1_50, -- X1的下四分
Hive SQL--使用hive计算中位数以及分位数
TOP丶Chen
10-14 3万+
开门见山的说，hive中有两个函数percentile和percentile_approx，可以用来计算分位数。 而中位数即2分位数，那么同样可以使用该函数计算。具体使用方如下： percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.5，那么就是2分位数，即中位数。 percentile_approx：percentile_approx(col, p)。列为数值类型都可以。 percentile_approx还有一种形式percent
进阶SQL —— 取指定字段的分位数
lezhuximing的博客
02-01 1118
例子中value表示我们想取分位数的列值；nums为分区总行数；如果没有分区需求，去掉dt相关的部分即可。最终结果是取了value的0.25分位，0.5分位，0.75分位，0.9分位。具体想取多少分位，直接改数值即可。如果有分区需求，筛选排序值 = 分区总数 * 分位数，则可以得到每个分区的分位数；没有分区需求，筛选排序值 = 总行数 * 分位数，则可以得到分位数。如果有分区需求，先对数据分区排序；没有分区需求，则直接对数据排序。如果有分区需求，求每个分区的总数；没有分区需求，则直接求总行数。
hivesql计算访问者年龄的SQL
最新发布
03-14
hivesql计算访问者年龄的SQL
MySQL一个语句获取分位值
Yishen9111的博客
10-09 1308
在获取平均值、最大值和最小值时，MySQL有AVG、MAX和MIN函数可以直接使用。然而对于分位值，却并没有很便捷的方法能够直接获取。下面将介绍如何一行SQL语句获取到指定分位值，从此不求人。
HIVE SQL分位数percentile使用方法案例
qq_44426756的博客
09-10 5604
percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.2，那么就是2分位数，依次类推。 percentile_approx：percentile_approx(col, p)。列为数值类型都可以。 percentile_approx还有一种形式percentile_approx(col, p，B)，参数B控制内存消耗的近似精度，B越大，结果的精度越高。默认值为10000。当col字段中的distinct值的个数小于B时，结果就为准
pandas中计算分位数的方法describe，quantile，以及sql中计算分位数的方法percentile_approx,percent_rank() over()
dair6的博客
11-16 2万+
1.pandas中计算分位数的方法describe，quantile 准备一张表 def test(): df = pd.DataFrame({'a':[1,2,3],'b':[4,5,6],'c':['d','e','f']}) print(df) 表结构如下： （1）p分位数原理和计算过程 例：a =[20,10,30]，求这组数的四分之一，二分之一，四分之三分位数，即p=0.25,p=0.5,p=0.75的情况 1.从小到大排序[10,20,30]，长度n = len(a) = 3
hive求用户每月的分位数
qq_45292079的博客
07-02 742
背景：用户每月的交易金额总数 / 每月的交易金额中位数（按照用户每月汇总后的金额） hive当中有两个函数可求中位数，percentile和percentile_approx。 下面分别介绍： percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.5，那么就是2分位数，即中位数。 percentile_approx：percentile_approx(col, p)。列为数值类型都可以。 但是percentile计算的结果是精准的，而
【Hive】计算分位数
yuxeaotao的博客
05-16 8447
hive中有两个函数可以用来计算分位数：percentile和percentile_approx 具体使用方如下： （1）percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.5，那么就是2分位数，即中位数。 （2）percentile_approx：percentile_approx(col, p)。列为数值类型都可以。 percentile_approx还有一种形式percentile_approx(col, p, .
【数据库】Hive SQL--如何使用分位数函数（percentile）
热门推荐
J小白的博客
08-29 11万+
在做一些酒店产量分析时，用到统计学中常用的分位数函数，所以就学习了一下分位数函数在HIVE中的应用。 HIVE中有两个关于分为数的函数：percentile和percentile_approx。 使用方式： percentile：percentile(col, p) col是要计算的列（值必须为int类型），p的取值为0-1，若为0.2，那么就是2分位数，依次类推。 percentile_...
hive窗口函数+分位数
changzoe的博客
09-19 2098
lead(expr [, offset] [, default]) OVER([partition_by_clause] order_by_clause) This function returns the value of an expression using column values from a following row. You specify an integer offset, ...
hive sql 分位数
08-25
你可以使用 Hive SQL 中的 `percentile` 函数来计算分位数。`percentile` 函数接受两个参数：第一个参数是要计算分位数的列名，第二个参数是所需的分位数值（0 到 1 之间的小数）。以下是一个示例： ```sql SELECT percentile(col_name, 0.5) AS median FROM your_table; ``` 上述示例中，`col_name` 是要计算分位数的列名，`0.5` 表示计算中位数（50% 分位数）。你可以将 `col_name` 替换为你实际要计算分位数的列名，以及选择其他分位数值。 注意：Hive 的 `percentile` 函数默认使用近似方法来计算分位数。如果需要更精确的结果，你可以在 Hive 配置中启用 `hive.query.reexecution` 参数。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值