数据仓库系列
文章平均质量分 77
数据仓库理论和实践知识
Michealkz
这个作者很懒,什么都没留下…
展开
-
LATERAL VIEW EXPLODE函数详解及应用
在进行统计分析的时候有时候会有类似这样的需求 比如求某个平台某一天所有的订单总和,或者淘宝所有pc 端的交易总和,这个时候我们可以基于原本基础的数据进行炸裂处理之后得出结结果值,方便后续进行查询,这种提前进行预聚合的思想长用于即席查询分析的场景中,比如为了适用于某张报表的多条件查询可以采用此种方式结合预聚合的方式进行操作。原创 2021-10-31 13:28:17 · 8465 阅读 · 2 评论 -
Hive 常用函数总结
Hive 常用函数总结数学函数日期函数条件函数字符串函数聚合函数表生成函数行列转换窗口函数进阶函数数学函数round(double d, int n):返回保留n位小数的近似d值hive (default)> select round(3.1415,2) round from dual;3.14floor(double d): 返回小于d的最大整值hive (default)> select floor(3.1415) round from dual;3ceil(dou.原创 2021-09-05 16:34:28 · 946 阅读 · 0 评论 -
企业大数据平台仓库架构建设思路
随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化、半结构化、非结构化数据的产生,越来越多的企业开始在大数据平台下进行数据处理。本文作者主要从总体思路、模型设计、数据架构、数据治理四个方面介绍了如何利用大数据平台的特性,构建更贴合大数据应用的数据仓库。随着互联网规模不断的扩大,数据也在爆炸式地增长,各种结构化、半结构化、非结构化数据不断地产生。新环境下的数据应用呈现业务变化快、数据来源多、系统耦合多、应用深度深等特征。那么基于这些特征,该如何构建数据仓库呢?我认为应该从稳定、可信、丰富、透明.转载 2020-07-11 10:49:42 · 440 阅读 · 0 评论 -
数据仓库模型
数据仓库模型事实表与维度表事实表分类星型模型雪花模型事实星座事实表与维度表在数据仓库中,保存度量值的详细值或事实的表称为事实表。事实数据表通常包含大量的行。事实数据表的主要特点是包含数字数据(事实),并且这些数字信息可以汇总,以提供有关单位作为历史的数据。事实表的粒度决定了数据仓库中数据的详细程度。常见事实表:订单事实表事实表的特点:表多(各种各样的事实表);数据量大事实表根据数据的粒度可以分为:事务事实表、周期快照事实表、累计快照事实表维度表(维表)可以看作是用来分析数据的角度,纬度表中包原创 2021-08-29 10:03:39 · 823 阅读 · 0 评论