Hive
文章平均质量分 88
行走的数据智能
数智侠,计算机小硕,目前通讯行业从事大数据研发工作。专注于大数据平台、日志系统、数据仓库、数据中台、实时数仓、企业数字化转型等数据技术领域。公众号分享大量干货,包括数据中台/数字化转型方案和案例、大数据架构、数据治理、数据处理优化技巧等。有数据交流社群。
展开
-
Hive/Spark SQL常用函数(窗口分析函数、行列转换、JSON处理)
文章目录窗口分析函数 1. 分析函数 2. 聚合函数 3. 窗口函数 行列转换 1. 行转列 2. 列转行 JSON处理 1. JSON对象 2. JSON数组 Hive SQL Spark SQL 时间处理窗口分析函数函数中用到的表数据如下图:1. 分析函数row_number() rank() dense_rank()这3个函数通常用在组内.转载 2022-05-17 21:34:11 · 1791 阅读 · 0 评论 -
Hive、Impala常用命令
一、Hive常用命令查看分区show partitions lake_bg_ods.ods_bg_tb1;查看建表语句show create tablelake_bg_ods.ods_bg_tb1;二、Impala常用命令查看分区以及各分区数据大小以及存储HDFS路径show partitions lake_bg_o...原创 2019-09-04 00:48:45 · 356 阅读 · 0 评论 -
Hive 动态分区恢复静态分区表数据
在企业上使用 Hive进行离线批量数据统计时,有时会遇到 Oozie工作流调度失败,导致很多 ptdate时间分区没有数据,可以通过 Hive创建临时表存储所有缺失的ptdate时间分区数据,然后通过Hive动态分区查询临时表导入数据至最终统计结果表中。一、在正式介绍 Hive 动态分区恢复静态分区表数据时,先介绍一下 hive load导入数据的用法hive ...原创 2019-09-05 00:59:46 · 576 阅读 · 0 评论 -
Hive 动态分区使用
hive 动态分区与静态分区,静态分区需要制定分区字段的值插入分区数据,动态分区可以根据分区字段的值自动插入对应分区静态分区:须指定分区字段的值insert overwrite table test.tmp_edw_customer_event_detail_di partition(dt='20161218') select cid ...转载 2019-09-05 01:08:08 · 181 阅读 · 0 评论 -
Hive语句的书写顺序及执行顺序
1、Hive语句的书写顺序:(从前往后)(1)select(2)from(3)join on(4) where(5)group by(6)having(7)distribute by/cluster by(8) sort by(9) order by(10) limit(11) union(去重不排序)/union all(不去重不排序)2、Hive语句的执行顺序:...转载 2019-09-12 00:05:26 · 1136 阅读 · 0 评论 -
Hive常用函数大全一览
文章目录1关系运算 1.11、等值比较: = 1.22、不等值比较: 1.33、小于比较: < 1.44、小于等于比较: <= 1.55、大于比较: > 1.66、大于等于比较: >= 1.77、空值判断: IS NULL 1.88、非空判断: IS NOT NULL 1.99、LIKE比较: LIKE 1.1...转载 2019-09-12 00:49:17 · 958 阅读 · 0 评论 -
Hive操作表分区和表字段属性常用语句
文章目录1显示分区 2添加分区 3删除分区 4修改分区 5添加列 6修改列 7修改表属性 8表的重命名显示分区 show partitions iteblog; 添加分区 ALTER TABLE table_name ADD [IF NOT EXISTS] PARTITION partition_spec [LOCA...转载 2019-09-12 01:06:36 · 417 阅读 · 0 评论