数据仓库
文章平均质量分 60
Perkinl
但行好事,莫问前程
展开
-
大数据开发、数仓、实时数仓
最近上传的精品课程,有需要的请收藏大数据开发架构课程: https://www.bilibili.com/video/BV1GX4y1g7yM/Flink实时数仓项目实践: https://www.bilibili.com/video/BV1jv41187iP/大数据体系数据仓库建设: https://www.bilibili.com/video/BV1gh411D7md/关注公众号 ,专注于java大数据领域离线、实时技术干货定期分享!个人网站 www.lllpan.top...原创 2021-04-20 11:46:54 · 323 阅读 · 1 评论 -
维度建模之缓慢渐变维
维度建模之缓慢渐变维在从 OLTP 业务数据库向 DW 数据仓库抽取数据的过程中,特别是第一次导入之后的每一次增量抽取往往会遇到这样的问题:业务数据库中的一些数据发生了更改,到底要不要将这些变化也反映到数据仓库中?在数据仓库中,哪些数据应该随之变化,哪些可以不用变化?考虑到这些变化,在数据仓库中的维度表又应该如何设计以满足这些需要。每天保存当前数据的全量快照数据,该方案适合数据量较小的维度,使用简单的方式保存历史状态在维表中添加关键属性值的历史字段,仅保留上一个的状态值拉链表什原创 2021-01-06 13:44:10 · 4829 阅读 · 0 评论 -
维度建模之事实表
维度建模之事实表每个数据仓库都包含一个或者多个事实数据表。其中可能包含业务销售数据,如现金登记事务所产生的数据,通常包含大量的行。事实数据表的主要特点是包含数字数据(事实),并且这些数字信息可以汇总,以提供有关单位作为历史的数据,每个事实数据表包含一个由多个部分组成的索引,该索引包含作为外键的相关性维度表的主键,而维度表包含事实记录的特性。事实表基础事实表特征事实表作为数仓维度建模...原创 2019-12-08 13:54:38 · 5448 阅读 · 0 评论 -
Hive如何实现代理键
维度建模之代理键维度建模-代理键维度表中必须有一个能够唯一标识一行记录的列,通过该列维护维度表与事实表之间的关系,一般在维度表中业务主键符合条件可以当作维度主键。没有建立代理键时可能存在的问题:当整合多个数据源的维度时,不同数据源的业务主键重复怎么办? 涉及维度拉链表时,同一主体多条记录,业务键重复怎么办?什么是代理键?代理键是由数据仓库处理过程中产生的、与业务本身无...原创 2019-12-04 13:32:37 · 6109 阅读 · 0 评论