![](https://img-blog.csdnimg.cn/2019092715111047.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
hive
hive知识记录
只要开始永远不晚
好好学习,天天向上!
展开
-
hive自定义UDF开发指南
确定hadoop和hive版本;创建maven工程:pom文件、创建UDF类、打包;部署UDF原创 2023-05-09 12:00:00 · 117 阅读 · 1 评论 -
Hive分区和分桶的区别和优缺点
彻底搞懂 hive分区表 hive分桶表Hive分区和分桶的区别Hive分区和分桶的优缺点spark分区spark分桶原创 2021-01-12 20:27:09 · 2497 阅读 · 0 评论 -
Hive谓词下推
谓词下推是一种自动优化,如果养成好的查询习惯你其实并不需要hive自动去帮你谓词下推。谓词下推 Predicate Pushdown(PPD):简而言之,就是在不影响结果的情况下,尽量将过滤条件提前执行。原创 2020-04-29 09:44:31 · 1266 阅读 · 0 评论 -
hive常用查询
命令行查询hive -e "select * from tableName where col=111"查询结果保存到本地hive -S -e "select * from tableName limit 10" >>/tmp/xxx查找设置hive -S -e "set"|grep warehouse执行脚本hive -f /tmp/scri原创 2017-01-20 10:44:31 · 570 阅读 · 0 评论 -
hive合并小文件
1. Map输入合并小文件对应参数:set mapred.max.split.size=256000000; #每个Map最大输入大小set mapred.min.split.size.per.node=100000000; #一个节点上split的至少的大小 set mapred.min.split.size.per.rack=100000000; #一个交换机下split的至转载 2017-04-21 20:17:36 · 2606 阅读 · 0 评论 -
hive建表语句
Create [EXTERNAL] TABLE [IF NOT EXISTS] table_name[(col_name data_type [COMMENT col_comment], ...)][COMMENTtable_comment][PARTITIONED BY (col_name data_type [COMMENT col_comment], ...)][CLUSTE原创 2016-12-15 11:10:02 · 4009 阅读 · 0 评论 -
hive外部表链接hbase的表
create external table hiveTable(key string,birthday string,gender string)stored by 'org.apache.hadoop.hive.hbase.HBaseStorageHandler' with serdeproperties ("hbase.columns.mapping" = ":key,cf:cl1,cf...原创 2018-07-10 17:52:33 · 1400 阅读 · 0 评论 -
hive case when then 多条件
select substr(key,13,2),case when birthday<'1968' then '50up' when birthday<'1978' then '40-50' when birthday<'1983' then '35-40' when birthday<'1988' then '30-35' when birthday<'1...原创 2018-07-10 17:55:17 · 66080 阅读 · 0 评论 -
hive表占用的存储空间大小
hadoop fs -du /user/hive/warehouse/table_name|awk '{ SUM += $1 } END { print SUM/(1024*1024*1024)}'原创 2019-06-24 11:22:36 · 2854 阅读 · 0 评论