hive
文章平均质量分 68
不想做靓仔
能帮到你实在是太好了~
展开
-
用shell脚本批量导出hive表结构
项目上遇到了需要导出hive表结构的情况尝试了用脚本导出思路是,先把hive库里的表名先导出到一个文件,然后再遍历具体如下。原创 2023-02-23 18:07:55 · 1092 阅读 · 0 评论 -
hive的行列转换进阶之字段名与字段值的互相转换,str_to_map函数应用
本文列举在一些特殊需求下,比如**需要把多行数据根据某一列的字段值转化为字段名的多行转一行的需求**,或者把**字段名转化为字段值的一行转多行的需求**原创 2021-12-10 16:41:07 · 4678 阅读 · 1 评论 -
hive用merge管理缓慢变化维度的三种方法
这是系列的第二部分。 管理缓慢变化的维度 在第1部分中,我们展示了使用SQL MERGE,UPDATE和DELETE更新Hive中的数据是多么容易。让我们把事情做好,看看Hive中用于管理缓慢变化维度(SCD)的策略,这些维度可以让您随时分析数据的整个变化。 在数据仓库中,缓慢变化的维度(SCD)捕获的数据在不规则和不可预知的时间间隔内变化。根据不同的业务需求,管理SCD有几种常用的方法。例...转载 2021-11-04 15:55:49 · 694 阅读 · 0 评论 -
hive2.2之后的merge into
参考 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DML#LanguageManualDML-Merge https://community.cloudera.com/t5/Community-Articles/Hive-ACID-Merge-by-Example/ta-p/245402 说明 Hive在2....转载 2021-11-01 11:40:19 · 1955 阅读 · 0 评论