Hive
文章平均质量分 89
dinghua_xuexi
这个作者很懒,什么都没留下…
展开
-
hive中控制窗口范围rows between的使用
1.rows between的作用在使用hsql完成一些业务需求的时候,我们经常会用到窗口函数,某些场景下会涉及到需要控制窗口函数的范围来满足业务需求,这个时候就需要用到rowsbetween了,使用rows between可以根据自己的需求任意的控制窗口函数的范围。2.rows between的使用首先我们有一张如下的数据表sid day_time sale 101 2020-01-03 10 102 2020-01-04 20 103原创 2022-03-29 15:03:32 · 1899 阅读 · 1 评论 -
Hive的时间操作函数
from_unixtime功能: UNIX时间戳转日期函数:语法:from_unixtime(bigintunixtime[,stringformat])返回值:string说明:转化UNIX时间戳(从1970-01-0100:00:00UTC到指定时间的秒数)到当前时区的时间格式举例:selectfrom_unixtime(1323308943,’yyyyMMdd’)fromdual; #结果 20111208unix_timestamp功能:...原创 2020-12-15 14:40:13 · 2721 阅读 · 0 评论 -
hive 同源多表插入操作
Hive支持多表插入,可以在同一个查询中使用多个insert子句,这样的好处是我们只需要扫描一遍源表就可以生成多个不相交的输出!from test1insert overwrite table test2partition (age)select name,address,school,ageinsert overwrite table test3select name,address多表插入的关键点在于将所要执行查询的表语句 "from 表名",放在最开头位置...原创 2020-07-05 12:48:28 · 1436 阅读 · 0 评论 -
HIVE的一些实用技巧
1 设置会话级别的参数# 显示 config 配置的值# 格式set <config>; # 示例set hive.cli.print.current.db# 设置config配置的值 # 格式set <config>=<config_value>;# 设置示例set hive.cli.print.current.db=true; 疑问:调优的时候很多参数是可以调整的, 为什么不配置到全局的里面 (hive-site.xml 文件..原创 2020-07-04 20:55:41 · 243 阅读 · 0 评论 -
Hive复合类型操作
概览hive目前支持4种复合类型array_type : ARRAY < data_type > map_type : MAP < primitive_type, data_type > struct_type : STRUCT < col_name : data_type [COMMENT col_comment], ...> union_type : UNIONTYPE < data_type, data_type, ..原创 2020-07-04 17:26:22 · 393 阅读 · 1 评论 -
如何让Hive表支持json数据
概述根据hive官方文档,主要用到了hive内置JsonSerDe类JsonSerDe 适用版本:Hive 0.12and later.要使用.JsonSerDe,需要添加相应的jar包ADD JAR /usr/lib/hive-hcatalog/lib/hive-hcatalog-core.jar; # 我的服务器在该路径下不存在这个jar,需要寻找一番CREATETABLEmy_table(a string, bbigint, ...)ROW FORMAT SERD...原创 2020-05-30 12:05:48 · 850 阅读 · 0 评论