数据仓库
种豆大叔
种豆南山下,草稀豆苗盛
展开
-
我回答面试官,说缓慢变化维有10种处理方式,他惊了
在维度建模理论中,有8种处理方式,包括基础的5种以及混合的3种。再加上大数据时代的2种极限型,共10种,具体如下:原创 2020-04-25 09:21:49 · 688 阅读 · 2 评论 -
你真的懂Hive窗口函数吗,如何开窗聚合?
目录1 窗口函数 Windowing functionsFIRST_VALUE(col, bool DEFAULT)LAST_VALUE(col, bool DEFAULT)LEAD(col, n, DEFAULT)LAG(col, n, DEFAULT)2 OVER详解 The OVER clauseFUNCTION(expr) OVER([PARTITION BY ...原创 2020-04-16 15:12:14 · 1206 阅读 · 5 评论 -
Hive函数大全(含例子)之集合函数、日期函数、条件函数
# 集合函数 Collection Functions## size(Map<K.V>)返回结果:返回Map中的元素个数返回类型:int* select size(str_to_map('k1: v1')); -- 结果为 1* select size(str_to_map('k1:v1,k2:v2')); -- 结果为 2## size(Array...原创 2020-04-06 23:50:24 · 625 阅读 · 0 评论 -
Hive函数大全(含例子)之数学函数(Mathematical Functions)
为了方便测试,创建了dual表,该表只有一个字段以及只有一行数据,建表语句如下:CREATE TABLE dual ( x INT)函数名称:round(DOUBLE a),返回类型:DOUBLE返回数字 a 四舍五入后的值select round(1.5) from dual; -- 结果为 2select round(1.1) from dual; -- 结果为...原创 2020-04-05 21:59:22 · 2208 阅读 · 0 评论 -
Hive下数据仓库历史拉链表如何加工,分区键该如何选择
1 缓慢变化维说到历史拉链表,首先得说下缓慢变化维。在现实世界中,维度的属性并不是静态的,而是随着时间的变化而变化,这也体现了数据仓库的特点之一,是反映历史变化的。相对于数据增长较为快速的事实表,维度的变化是相对缓慢的。在维度建模理论中,处理缓慢变化维有三种方式:新的维度属性直接覆盖旧的维度属性,不保留历史数据; 增加新的维度行(需要生成代理键来支持),维度变化前的事实关联...原创 2020-04-04 17:58:13 · 3186 阅读 · 1 评论
分享