【数据库】Hive SQL--如何使用分位数函数(percentile)

在做一些酒店产量分析时,用到统计学中常用的分位数函数,所以就学习了一下分位数函数在HIVE中的应用。

HIVE中有两个关于分为数的函数:percentilepercentile_approx。

使用方式:

percentile:percentile(col, p) col是要计算的列(值必须为int类型),p的取值为0-1,若为0.2,那么就是2分位数,依次类推。

percentile_approx:percentile_approx(col, p)。列为数值类型都可以。

percentile_approx还有一种形式percentile_approx(col, p,B),参数B控制内存消耗的近似精度,B越大,结果的精度越高。默认值为10000。当col字段中的distinct值的个数小于B时,结果就为准确的百分位数。

如果需要多个分位数,可以一次性取出来,案例如下:

去每天的UV的第二个十分位数、第四个十分位数,第六个十分位数、第八个十分位数:

select d, 
       percentile_approx(uv, array(0.2,0.4,0.6,0.8), 9999) as uv --2%分位数作为最小值       
  from aa
 group by d

结果如下:

 

Hive中可以使用percentile()percentile_approx()这两个函数来计算分位数percentile()函数用于计算分位数,但在处理大数据量时,速度较慢,可能无法计算出结果。为了解决这个问题,可以使用row_number()函数和子查询来实现类似的功能。通过给数据排序,并筛选出特定百分比的行数,可以得到分位数的近似值。而percentile_approx()函数则相对灵活一些,可以处理数值和整型的字段,并且可以通过调整参数B来控制内存消耗和精度。具体使用方式为percentile(col, p)percentile_approx(col, p, B),其中col是要计算的列名,p是需要计算的分位数百分比,B用于控制内存消耗和精度。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [HiveSQL分位数函数percentile()使用详解+实例代码](https://blog.csdn.net/master_hunter/article/details/126642158)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatgptT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *2* [python多维数组分位数的求取方式](https://download.csdn.net/download/weixin_38716081/13737834)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatgptT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] - *3* [hive窗口函数+分位数](https://blog.csdn.net/changzoe/article/details/101015922)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatgptT3_2"}}] [.reference_item style="max-width: 33.333333333333336%"] [ .reference_list ]
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值