hive常用函数总结

最新推荐文章于 2024-07-18 18:57:57 发布
最新推荐文章于 2024-07-18 18:57:57 发布
阅读量6.6k 收藏 3
点赞数
分类专栏： hive 文章标签： hive 函数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010834021/article/details/71215473
版权
本文总结了Hive中用于计算千分位数的percentile和percentile_approx函数，详细介绍了它们的用法和区别。例如，percentile_approx(grade, 0.95) 可以获取成绩倒数5%的值，且支持计算多个分位数。通过explode函数，可以将计算结果转换为单独的列。" 137931509,11413907,微信小程序开发：图片属性与网络图片上传显示,"['微信小程序', '小程序', '前端开发', '图片处理', '学习资源']
摘要由CSDN通过智能技术生成

1、hive 计算千分位数:

percentile函数和percentile_approx函数:

其使用方式为percentile(col, p)、percentile_approx(col, p,B)， p∈(0,1)  .返回col列p分位上的值。B用来控制内存消耗的精度。实际col中distinct的值<B返回的时精确的值。
其中percentile要求输入的字段必须是int类型的，而percentile_approx则是数值类似型的都可以 .

例如percentile_approx(grade, 0.95) 取得排位在倒数第5%的成绩。（使用时会对成绩进行排序,一般可以用于求中位数）

   

要求多个分位数时，可以把p换为array( p1,p2,p3… )，即

   percen

最低0.47元/天 解锁文章
木子不唱歌
关注
专栏目录
hive中函数
weixin_42130191的博客
06-10 361
常使用过哪些系统函数 avg max min sum count distinct date_format函数（根据格式整理日期） date_add函数（加减日期）date_sub加减日期 date_diff计算日期之间相差的天数 next_day函数（当前天的下周一、二。。。日） last_day函数（求当月最后一天日期） concat：任何一个参数为null ，则返回值为 null，语法：concat (str1,str2,…) concat_ws：可以指定参数之间的分隔符第一个参数申明。
Hive的函数
weixin_49307896的博客
12-17 165
函数 在Hive中提供了非常丰富的函数用于对数据进行分析或者处理，还允许使用者自定义函数。 可以通过desc function 函数名来描述这个函数。 案例：提取年份。 2020-12-25 select year(‘2020-12-25’); 2020/12/25 方案一：替换 select year(regexp_replace(‘2020/12/25’, ‘/’, ‘-’)); 方案二：切分 select cast(split(‘2020/12/25’, ‘/’)[0] as int); ·
Hive中位数到底是怎么求的？
最新发布
degeju的博客
07-18 229
常规不用hive的解决方法是：首先添加两列字段，这两列分别是score所在的位置、总数据个数。这里的逻辑筛选后，可以得到得到一行数据和两行数据（分别对应奇数和偶数，如果是偶数的话，你这样+2然后除2得到是个带小数点的数值，筛选就找不到她了），然后用对筛选出来的数据进行一个avg( )就可以了。这一个函数则是得到近似分布的值，相对没那么精确，但是他比较适合大规模数据集，数据仓库ETL中可能用它更加合适。实习过程中，接到一个需求，里面有个要计算中位数的字段，之前没见过，遂记录。一切的一切数据先排序。
Hive常用函数的使用
foochane
06-30 667
文章作者：foochane 原文链接：https://foochane.cn/article/2019062501.html 1 基本介绍 1.1 HIVE简单介绍 Hive是一个可以将SQL翻译为MR程序的工具，支持用户将HDFS上的文件映射为表结构，然后用户就可以输入SQL对这些表（HDFS上的文件）进行查询分析。Hive将用户定义的库、表结构等信息存储hive的元数据库（可以是本地derb...
hive 中函数使用
云溪的博客
06-25 302
to_date： 日期时间转日期函数 select to_date('2015-04-02 13:34:12'); 输出：2015-04-02 mysql 中使用 str_to_date date_sub() 函数从日期减去指定的时间间隔 date_sub(date,n) mysql:DATE_SUB(date, INTERVAL n DAY) DATE_ADD() ...
hive中的所有函数
dataastron的博客
12-26 3056
hive>show functions;查看所有函数 hive>describe function unix_timestamp;查看函数的使用方法 unix_timestamp(date[, pattern]) - Converts the time to a number ! != % & * + -
HIVE常用函数总结
wyht1222的博客
09-11 792
HIVE常用函数总结 一：explode（列转行） lateral view explode()a explode只能炸array和ma，不能炸struct，UDTF explode 只支持一个字段** hive explode函数可以将一个array或者map展开，其中explode(array)使得结果中将array列表里的每个元素生成一行；explode(map)使得结果中将map里的每...
hive 常用函数总结
小梁
07-13 830
1.选择的函数 case when ：if… else if …else if…else case 列名 when 列值1 then 返回值1 when 列值2 then 返回值2 when 列值2 then 返回值3 [esle 其他情况 ] end -- 1 select dept_id, sum(case sex when '男' then 1 else 0 end) male_count, sum(case sex when '女' then 1 else 0 end) f
HIVE 常用函数总结
qq_44735442的博客
10-07 2526
HIVE 常用函数总结 hive 函数比较多，之前总是随用随查，今天把常用的函数总结一下，以后方便查阅。 本文主要涉及以下几个大面： 1、Hive函数介绍以及内置函数查看 内容较多，见《Hive官方文档》 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF 1）查看系统自带的函数 hive> show functions; 2）显示自带的函数的用法 hive> desc function upper; 3）
Hive常用函数大全.pdf
04-14
### Hive常用函数详解 #### 一、关系运算 在Hive中，关系运算是非常基础且重要的部分，它包括但不限于等值比较、不等值比较、大小比较等。这些操作对于进行数据筛选、条件判断等都非常关键。 ##### 1. 等值比较 ...
hive函数大全
09-13
很详细的hive内置函数大全,适用于工作、学习;常做hive统计分析的你,值得拥有. 很详细的hive内置函数大全,适用于工作、学习;常做hive统计分析的你,值得拥有.
Hive常用的函数总结
大数据梦想家
12-09 9479
常见hive函数，必须掌握！
HIVE函数
weixin_42923199的博客
03-04 516
show functions; desc function xxx; 窗口函数 row_number：row_number() over(distribute by dt sort by score desc) 没有并列，相同名次顺序排 rank：有并列，相同名次空位 dense_rank：有并列，相同名次不空位 lag：向上取第n行的数据 lead：向下取...
Hive之函数篇（使用函数看这篇足够了）
&volume的博客
07-10 1895
时间戳：我们常说的时间戳是unix时间戳----指从1970年1月1日00:00:00（UTC--世界协调时间，便于统一时区---可以认为是0时区）起算的秒数，它用于表示某个时间点相对于UNIX纪元时间的时间差。完整函数有三个参数，参数1：字符串 参数2：从什么位置开始截取（从1开始，正数表示从左往右数数，找到指定位置，负数表示从右往左数数，从-1开始，找到指定位置）参数3：表示截取的字符数，不写默认截取到最后。参数2：传入的是需要查找的位置（加一个$(指代的前边传入的字符串).符号）
Hive函数大全
m0_43405302的博客
02-13 6514
一、数学函数 1、取整函数: round 1.函数描述 返回值 语法结构 功能描述 double round(double a) 返回double类型的整数值部分（遵循四舍五入） 2.例程 hive> select round(10.235); #---- 10.0 #---- 2、指定精度取整函数: round 1.函数描述 返回值 语法结构 功能描述 double round(double a, int d) 返回指定精度d的double类型 2.例程 h
Hive函数大全（特全）
热门推荐
weixin_47391932的博客
07-12 1万+
文章目录一、关系运算：1. 等值比较: =2. 不等值比较: <>3.小于比较: <4. 小于等于比较: <=5. 大于比较: >6. 大于等于比较: >=7. 空值判断: IS NULL8. 非空判断: IS NOTNULL9. LIKE比较: LIKE10. JAVA的LIKE操作: RLIKE11. REGEXP操作: REGEXP二、数学运算：1. 加法操作: +2. 减法操作: -3. 乘法操作: *4. 除法操作: /5. 取余操作: %6. 位与操作: &a
Hive---＞函数的使用
HR的博客
11-30 864
Hive--->函数的使用hive中函数的简单简绍系统内置函数空字段赋值函数（NVL）CASE WHEN THEN ELSE ENG数据准备需求行转列（concat、concat_ws、collect_set、collect_list）concatconcat_wscollect_set练习需求 hive中函数的简单简绍 **hive中的函数大致分为三种：UDF、UDTF、UDAF ** UDF：是一进一出的 UDAF：多进一出 UDTF：一进多出 注意：这个一指的是行数 系统内置函数 查看系统
hive函数大全：11大类、109个函数
keyoukewude的博客
04-07 734
比如，M是值为{‘f’ -> ‘foo’, ‘b’-> ‘bar’, ‘all’ -> ‘foobar’}的map类型，那么M[‘all’]将会返回’foobar’比如，M是值为{‘f’ -> ‘foo’, ‘b’-> ‘bar’, ‘all’ -> ‘foobar’}的map类型，那么M[‘all’]将会返回’foobar’说明: count(*)统计检索出的行的个数，包括NULL值的行；比如，A是个值为[‘foo’, ‘bar’]的数组类型，那么A[0]将返回’foo’,而A[1]将返回’bar’
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值