![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据仓库
数据仓库相关,模型设计,元数据管理,数据质量,任务调度
无尴尬不青春
关注大数据前沿技术
展开
-
flink sql实战案例之商品销量实时统计
更多最新文章请文末扫码关注公众号查看1、案例背景介绍互联网电商往往需要对订单商品销量实时统计,用于实时大屏展示,库存销量监控等等。本文主要介绍如何通过flink sql的方式进行商品实时销量的统计。业务流程介绍:1.使用otter采集业务库binlog数据输出到kafka2.flink读取kafka数据进行商品销量统计3.统计结果输出到mysql4.下游业务系统直...原创 2020-04-02 15:19:03 · 3676 阅读 · 0 评论 -
《维度模型系列》-3事实表核心技术(下)
目录1引言2父子型事实表3退化维4代理键5一致性事实6事实表设计方法更多技术文章请关注公众号:1引言上篇文章中我们主要介绍了事实类型(可加性、半可加性,不可加性),粒度,事实表三种类型主要内容,这篇文章我们继续介绍事实表其他相关内容:父子型事实表 退化维 代理键 一致性事实 事实表设计方法2父子型事实表父子数据关系是业务领域常见...原创 2020-03-08 11:04:20 · 760 阅读 · 1 评论 -
《维度模型系列》-3事实表核心技术(上)
目录1引言2事实类型3粒度4事实表三种类型4.1事务事实表4.2周期快照事实表4.3累积快照事实表5总结更多技术文章请关注公众号:1引言维度建模的事实表是围绕业务过程来设计的,其包含了业务过程的度量和引用的维度。下面我们将从以下事实表相关内容来对事实表相关技术有一个全面的介绍: 事实类型:可加性、半可加性,不可加性 粒度 事实表三...原创 2020-03-08 10:54:32 · 522 阅读 · 0 评论 -
《维度模型系列》-2数据仓库总线架构
更多技术文章请关注公众号:背景对数据仓库的构建进行规划是一项及其重要的活动。一开始是面向整个企业建立一个集中式的数据仓库还是为每个业务部门建立独立的数据集市?建立集中式大型数据仓库的方法需要很长一段时间的开发工作才能体现出其业务价值,这对于快速满足业务需求来说显然是无法容忍的,尤其是对于快速变化的互联网行业来说。而尽管建立独立的部门数据集市见效很快,但是由于这种方法不断增加数据烟筒...原创 2020-03-08 10:35:05 · 926 阅读 · 0 评论 -
《维度模型系列》-1初识维度模型
目录前言什么是维度建模维度建模的好处未来内容更多技术文章请关注公众号:前言数据模型就是数据的组织和存储方法,它强调从业务,数据存取,和使用角度合理的存储数据。模型设计是数据仓库的必备技能和主要工作之一。模型设计的好坏直接影响数仓整体的性能,存储成本,使用效率,数据质量等等。数仓典型的模型方法论有以下几种:ER模型,维度模型,Data Vault模型,Anch...原创 2020-03-08 10:24:51 · 1406 阅读 · 0 评论