Hive常用函数

最新推荐文章于 2022-03-31 23:10:25 发布
最新推荐文章于 2022-03-31 23:10:25 发布
阅读量2.1k 收藏
点赞数
分类专栏： 大数据 文章标签： hive 正则表达式 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43589396/article/details/119416868
版权

常用函数

查询具体函数
desc function 方法名;
常用日期函数

unix_timestamp:返回当前或指定时间的时间戳

hive (default)> select unix_timestamp();
unix_timestamp(void) is deprecated. Use current_timestamp instead.
unix_timestamp(void) is deprecated. Use current_timestamp instead.
OK
_c0
1628144062
Time taken: 0.192 seconds, Fetched: 1 row(s)

from_unixtime：将时间戳转为日期格式

hive (default)> select from_unixtime(1628143897,"yyyy-mm-dd");
OK
_c0
2021-11-05
Time taken: 0.156 seconds, Fetched: 1 row(s)

current_date：当前日期（可以去括号）

hive (default)> select current_date();
OK
_c0
2021-08-05
Time taken: 0.143 seconds, Fetched: 1 row(s)

current_timestamp：当前的日期加时间

hive (default)> select current_timestamp;
OK
_c0
2021-08-05 14:21:29.1
Time taken: 0.157 seconds, Fetched: 1 row(s)
hive (default)> select current_timestamp();
OK
_c0
2021-08-05 14:21:31.947
Time taken: 0.151 seconds, Fetched: 1 row(s)

to_date：抽取日期部分

hive (default)> select to_date(current_timestamp);
OK
_c0
2021-08-05
Time taken: 0.135 seconds, Fetched: 1 row(s)

year：获取年

hive (default)> select year(current_timestamp);
OK
_c0
2021
Time taken: 0.247 seconds, Fetched: 1 row(s)

month：获取月
day：获取日
hour：获取时
minute：获取分
second：获取秒

weekofyear：当前时间是一年中的第几周

hive (default)> select weekofyear(current_timestamp);
OK
_c0
31
Time taken: 0.178 seconds, Fetched: 1 row(s)

dayofmonth：当前时间是一个月中的第几天

hive (default)> select dayofmonth(current_timestamp);
OK
_c0
5
Time taken: 0.147 seconds, Fetched: 1 row(s)

months_between： 两个日期间的月份

hive (default)> select months_between(current_timestamp,current_timestamp);
OK
_c0
0.0
Time taken: 0.152 seconds, Fetched: 1 row(s)
hive (default)> select current_timestamp;
OK
_c0
2021-08-05 14:28:32.471
Time taken: 0.117 seconds, Fetched: 1 row(s)
hive (default)> select months_between(current_timestamp,"2021-01-01");
OK
_c0
7.14849276
Time taken: 0.155 seconds, Fetched: 1 row(s)
hive (default)> select months_between(current_timestamp,"2021-01-21");
OK
_c0
6.50333744
Time taken: 0.138 seconds, Fetched: 1 row(s)
hive (default)>

add_months：日期加减月

//add_months(start_date, num_months, output_date_format)
hive (default)> select add_months(current_timestamp,5);
OK
_c0
2022-01-05
Time taken: 0.116 seconds, Fetched: 1 row(s)

datediff：两个日期相差的天数

hive (default)> select datediff(current_timestamp,"2021-08-01");
OK
_c0
4
Time taken: 0.153 seconds, Fetched: 1 row(s)

date_add：日期加天数

hive (default)> select date_add(current_timestamp,5);
OK
_c0
2021-08-10
Time taken: 0.128 seconds, Fetched: 1 row(s)

date_sub：日期减天数

last_day：日期的当月的最后一天

hive (default)> select last_day("2001-01");
OK
_c0
NULL
Time taken: 0.133 seconds, Fetched: 1 row(s)
hive (default)> select last_day("2001-01-05");
OK
_c0
2001-01-31
Time taken: 0.11 seconds, Fetched: 1 row(s)

date_format(): 格式化日期

hive (default)> select date_format(current_timestamp,"MM-yyyy-dd");
OK
_c0
08-2021-05
Time taken: 0.128 seconds, Fetched: 1 row(s)

常用取整函数
round： 四舍五入

hive (default)> select round(3.4);
OK
_c0
3
Time taken: 0.12 seconds, Fetched: 1 row(s)

ceil： 向上取整
floor： 向下取整
常用字符串操作函数
upper： 转大写

hive (default)> select upper("aac");
OK
_c0
AAC
Time taken: 0.15 seconds, Fetched: 1 row(s)

lower： 转小写
length： 长度

hive (default)> select length("aac");
OK
_c0
3
Time taken: 0.094 seconds, Fetched: 1 row(s)

trim： 前后去空格

hive (default)> select trim(" aac   ");
OK
_c0
aac
Time taken: 0.105 seconds, Fetched: 1 row(s)

lpad： 向左补齐，到指定长度

hive (default)> select lpad(" aac   ",10,"*");
OK
_c0
*** aac   
Time taken: 0.125 seconds, Fetched: 1 row(s)

rpad： 向右补齐，到指定长度

hive (default)> select rpad(" aac   ",10,"*");
OK
_c0
 aac   ***
Time taken: 0.114 seconds, Fetched: 1 row(s)

regexp_replace：使用正则表达式匹配目标字符串，匹配成功后替换！

hive (default)> select  regexp_replace("a//bds/c","/","*");
OK
_c0
a**bds*c
Time taken: 0.106 seconds, Fetched: 1 row(s)

hive (default)> select  regexp_replace("aiibds/c","^i","*");
OK
_c0
aiibds/c
Time taken: 0.125 seconds, Fetched: 1 row(s)

集合操作
size： 集合中元素的个数

hive (default)> select * from test;
OK
test.name       test.friends    test.children   test.address
songsong        ["bingbing","lili"]     {"xiao song":18,"xiaoxiao song":19}     {"street":"hui long guan","city":"beijing"}
yangyang        ["caicai","susu"]       {"xiao yang":18,"xiaoxiao yang":19}     {"street":"chao yang","city":"beijing"}
Time taken: 0.218 seconds, Fetched: 2 row(s)
hive (default)> select size(friends) from test;
OK
_c0
2
2
Time taken: 0.115 seconds, Fetched: 2 row(s)

map_keys： 返回map中的key

hive (default)> select map_keys(children) from test;
OK
_c0
["xiao song","xiaoxiao song"]
["xiao yang","xiaoxiao yang"]
Time taken: 0.107 seconds, Fetched: 2 row(s)

map_values: 返回map中的value

hive (default)> select map_values(children) from test;
OK
_c0
[18,19]
[18,19]
Time taken: 0.206 seconds, Fetched: 2 row(s)

array_contains: 判断array中是否包含某个元素

hive (default)> select array_contains(friends,"lili") from test;
OK
_c0
true
false
Time taken: 0.12 seconds, Fetched: 2 row(s)

sort_array： 将array中的元素排序

hive (default)> select sort_array(friends) from test;
OK
_c0
["bingbing","lili"]
["caicai","susu"]
Time taken: 0.089 seconds, Fetched: 2 row(s)

grouping sets:多维分析

hive (default)> select * from business;
OK
business.name   business.orderdate      business.cost
jack    2017-01-01      10
tony    2017-01-02      15
jack    2017-02-03      23
tony    2017-01-04      29
jack    2017-01-05      46
jack    2017-04-06      42
tony    2017-01-07      50
jack    2017-01-08      55
mart    2017-04-08      62
mart    2017-04-09      68
neil    2017-05-10      12
mart    2017-04-11      75
neil    2017-06-12      80
mart    2017-04-13      94

hive (default)> select name,orderdate,cost from business group by name,orderdate,cost grouping sets((name,orderdate),(name),(name,orderdate,cost));

Total MapReduce CPU Time Spent: 5 seconds 20 msec
OK
name    orderdate       cost
jack    NULL    NULL
jack    2017-01-01      NULL
jack    2017-01-01      10
jack    2017-01-05      NULL
jack    2017-01-05      46
jack    2017-01-08      NULL
jack    2017-01-08      55
jack    2017-02-03      NULL
jack    2017-02-03      23
jack    2017-04-06      NULL
jack    2017-04-06      42
mart    NULL    NULL
mart    2017-04-08      NULL
mart    2017-04-08      62
mart    2017-04-09      NULL
mart    2017-04-09      68
mart    2017-04-11      NULL
mart    2017-04-11      75
mart    2017-04-13      NULL
mart    2017-04-13      94
neil    NULL    NULL
neil    2017-05-10      NULL
neil    2017-05-10      12
neil    2017-06-12      NULL
neil    2017-06-12      80
tony    NULL    NULL
tony    2017-01-02      NULL
tony    2017-01-02      15
tony    2017-01-04      NULL
tony    2017-01-04      29
tony    2017-01-07      NULL
tony    2017-01-07      50
鸽子古咕咕
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive的基本操作之库、表
QYHuiiQ
04-20 1937
在hive中创建数据库的本质就是在$HIVE_HOME/conf/hive-site.xml中<name>hive.metastore.warehouse.dir</name>指定的目录下创建一个以数据库名命名的目录，并以.db为后缀。hive中会有一个自带的数据库是default，default库的目录就是/user/hive/warehouse本身，不会再去创建一个.db目录。 我们也可以在HDFS的目录树上看到该目录： 这里面的test_db数据库是之前测试时候建的，
Hive05：Hive的进阶操作01之数据库和表的操作、数据类型
weixin_40612128的博客
03-05 1268
一、Hive中数据库操作 二、Hive中表的操作 三、Hive中的数据类型 1、基本数据类型 2、复合数据类型 （1）Array （2）Map （3）Struct （4）Struct和Map的区别
hive详解
mayaohao的博客
12-17 6442
xxxxx
Hive学习(二)-----Hive两种搭建方式
qq_43719634的博客
10-08 321
Hive学习(二)-----Hive两种搭建方式 1.mysql安装 1.1 yum安装mysql #yum install mysql-server -y == 注意：不是mysql,二是mysql-server。mysql为客户端== 1.2启动mysql服务 #service mysqld start == 不启动会报错：ERROR 2002 (HY000): Can’t connect t...
hive入门详解(四)
登峰造极胡子球手
06-18 2574
查询 1，基本查询(select…from) 2，where语句 3，分组 4，join语句 5，排序 6，分桶及抽样查询 7，其他常用查询函数 1，基本查询(select..from) 1.1，全表和特定列查询 1．全表查询 hive (default)> select * from emp; 2．选择特定列查询 hive (default)> select empno, ename from emp; 注意： （1）SQL 语言大小写不敏感。 （2）SQL 可以写在一行或者多行 （3
hive之函数
weixin_43520450的博客
08-07 234
目录一、系统自带的函数二、自定义函数三、自定义UDF函数开发案例 一、系统自带的函数 （1）查看系统自带的函数 hive> showfunctions; （2）显示自带的函数的用法 hive> desc function upper; （3）详细显示自带的函数的用法 hive> desc function extended upper; 二、自定义函数 （1）Hive 自带了一些函数，比如：max/min等，但是数量有限，自己可以通过自定义UDF来方便的扩展。 （2）当Hive提供的内置函
HIVE自定义函数
kebexue的博客
12-23 246
-》自定义函数 1)创建工程,加载hive的依赖包 2）编写代码，需要继承UDF 3）打包 export jar file 4）双传jar包到linux目录下 5）启动hive 6）add jar jar路径 //不要加引号 add jar /root/lower.jar 7）关联到hive中 create temporary function 自定义函数名 as '包的函...
hive常用函数
RangeYan
07-22 1065
1、数据介绍 首先我们产生我们的数据,使用spark sql来产生吧： val data = Seq[(String,String)]( ("{\"userid\":\"1\",\"action\":\"0#222\"}","20180131"), ("{\"userid\":\"1\",\"action\":\"1#223\"}","20180131"), ("{\"userid\":\"1...
Hive的常用函数大全
weixin_44319333的博客
04-02 525
关系运算 等值比较：A=B 如果表达式A和表达式B相等，返回true，否则返回false – – 不等值比较：A<>B 如果表达式A和表达式B不相等，返回true，否则返回false（若A和B有一个为null，则返回null） – – 小于/大于比较：A<B / A>B 如果表达式A小于/大于表达式B，返回true，否则返回false（若...
Hive常用函数大全.pdf
04-14
hive常用函数大全，日期类别，函数类别等常用函数都可有；
hive-default.xml.template
05-12
hive配置，hive-default.xml.template，大数据hive常用配置
hive常用函数参数手册
10-21
hive常用的函数参考手册，仅供参考，可能版本不一样，函数方法不一致,请以进官方文档为准，https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF
大数据高频面试题之Hive常用函数总结
czxylzl的博客
04-14 1176
Hive内部支持大量的函数，可以通过 SHOW FUNCTIONS 查看Hive的内置函数。灵活地运用Hive提供的函数能够极大地节省数据分析成本。Hive函数主要包含数学函数，集合函数，类型转换函数，日期函数，条件函数，字符串函数，聚合函数和表生成函数等。 1）数学函数 数学函数是Hive内部提供的专门用于数学运算的函数，如round()函数和sqrt()函数等。round()函数主要用来对给定的数字进行四舍五入取近似值，如下所示： hive (default)> SELECT ROUND(5.5)
Hive（八）Hive的Shell操作与压缩存储
weixin_42073629的博客
09-23 423
一、Hive的命令行 1、Hive支持的一些命令 Command Description quitUse quit or exit to leave the interactive shell. set key=valueUse this to set value of particular configuration variable. One thing to note here is that if you misspell the variable name, cli will not..
大数据----Hive学习（3）----Hive 基本操作1
weixin_46002001的博客
03-31 2270
文章目录Hive数据类型DDL数据定义1 创建数据库2 查询数据库5 创建表5.1 管理表5.2 外部表5.3 管理表与外部表的互相转换6 修改表7 删除表 Hive数据类型 1 基本数据类型 2 集合数据类型 Hive 有三种复杂数据类型 ARRAY、MAP 和 STRUCT。ARRAY 和 MAP 与 Java 中的 Array 和 Map 类似，而 STRUCT 与 C 语言中的 Struct 类似，它封装了一个命名字段集合，复杂数据 类型允许任意层次的嵌套。 基于上述数据结构，我们在 Hive
hive的基本操作
养猪少年日记的博客
05-26 8512
hive的安装在之前已经写了 地址： 一.语法 创建数据库 语法： CREATE DATABASE|SCHEMA [IF NOT EXISTS] <database name> 如： create database if not exists zzti_hive; hive> create database if not exists zzti_h...
Hive分区表
飞鱼
02-27 746
分区表是数据库的基本概念，但很多时候数据量不大，我们完全用不到分区表。Hive是一种OLAP数据仓库软件，涉及的数据量是非常大的，所以分区表在这个场景就显得非常重要！！ 下面我们重新定义一个数据表结构：t_hft DROP TABLE IF EXISTS t_hft; CREATE TABLE t_hft( SecurityID STRING, tradeTime STRING, PreC

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值