Hive 之中位数

什么是中位数?

中位数(Median)又称中值,统计学中的专有名词,是按顺序排列的一组数据中居于中间位置的数,代表一个样本、种群或概率分布中的一个数值,其可将数值集合划分为相等的上下两部分。对于有限的数集,可以通过把所有观察值高低排序后找出正中间的一个作为中位数。如果观察值有偶数个,通常取最中间的两个数值的平均数作为中位数。

Hive 求中位数

在 Hive 中有两个函数可以求中位数,分别是:

- percentile(col,n): col 表示需要求中位数的字段(必须为整型 int);n 表示范围区间,可指定 0-1,当指定值为 0.5 时,表示求中位数。

- percentile_approx(col,n):percentile 唯一的区别就是它指定的字段只要是数值类型就可以。

示例

创建表:

create table if not exists test(
id int,
name string);

插入数据(奇数条数据):

insert into test values(1,"张三"),(2,"李四"),(3,"王五"),(4,"詹姆斯"),(6,"浓眉"),(8,"威少"),(5,"库里"),(9,"维金斯"),(7,"汤普森");

插入后数据如下所示(乱序状态):

根据 id 列求中位数(未排序):

select percentile(id,0.5) from test;

输出结果为:5.0

根据 id 列求中位数(排序):

select percentile(id,0.5) from (select * from test order by id)t1;

输出结果为:5.0



增加一条数据,将其变为偶数条数据。

insert into test values(10,"乔丹");

插入后数据如下所示(乱序状态):

再次根据 id 列求中位数(未排序):

select percentile(id,0.5) from test;

输出结果为:5.5

再次根据 id 列求中位数(排序):

select percentile(id,0.5) from (select * from test order by id)t1;

输出结果为:5.5



可以发现我们手动排序并不会对结果造成影响。

HiveSQL中计算中位数可以使用窗口函数和排序来实现。以下是一种方法: 1. 使用row_number()窗口函数对数据进行排序,生成一个序列号列。例如:SELECT grade, row_number() OVER (ORDER BY grade) AS rn FROM table_name; 2. 计算数据的总行数。例如:SELECT COUNT(*) FROM table_name; 3. 根据总行数的奇偶性判断中位数的位置。如果总行数为奇数,则中位数的位置为(总行数+1)/ 2;如果总行数为偶数,则中位数的位置为总行数/2和(总行数/2 + 1)/ 2。 4. 使用子查询来获取中位数。根据中位数的位置,在排序后的结果中选择对应的行数。例如:SELECT grade FROM (SELECT grade, row_number() OVER (ORDER BY grade) AS rn FROM table_name) tmp WHERE rn = 中位数的位置; 注意:以上是一种常用的方法,但在处理含有重复数值的样本时,可能会出现序号不一致的情况。因此,需要根据具体情况进行调整和处理,以确保准确计算中位数。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [平均数中位数众数](https://download.csdn.net/download/dnsoi/7901559)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [HiveSQL中位数算法](https://blog.csdn.net/double1_/article/details/116793330)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

月亮给我抄代码

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值