数据仓库
数据仓库
Wang Zhuoqun
我还能学!!!
展开
-
Kimball架构与Inmon架构
Inmon架构的思想在于自上而下的构建数据模型。以数据源头开始,数据以瀑布流式的向下流动,更加注重数据清洗。其核心思想在于数仓分层。(换言之就是,尽量将某一主题域的所有数据都考虑到数据建模中。这样设计的数据模型的覆盖面会更广,但是数据模型的设计会困难)Kimball架构的思想在于自下而上的构建数据模型。以具体业务诉求为出发点,设计数据模型。其核心思想在于维度建模。(即根据业务需求找到关注的数据指标,基于关注的数据指标设计数据模型。这样设计的数据模型会更加的独立,但可能会导...原创 2022-02-10 22:53:50 · 675 阅读 · 0 评论 -
数据仓库的四大特点
1、面向主题的与业务系统不同的是,业务系统关注的面向业务过程的事务处理,而数据仓库关注的是面向主题的数据分析。因此的数仓中的数据,是按照不同的主题区分的。2、集成的数仓仓库中的数据不是凭空产生的,数据仓库是一个仓库,他不直接产生数据,二是集成各个系统数据,并进行统一化的存储、设计。3、稳定的数据仓库的数据一旦进入数据仓库,就不可修改的了,及每次相同条件的查询的结果的一致的。4、反映历史变化的也业务系统不同的是,业务系...原创 2022-02-10 22:49:22 · 3967 阅读 · 0 评论 -
数据仓库为什么采用分层架构
数据仓库为什么采用分层架构?现代数据仓库的分层架构最主要的原因在于两点。第一是将复杂的数据数据处理流程解耦。以阿里巴巴推行的分层架构方案来看,数据仓库初步份分为了ODS、CDM、ADS三层:ODS负责数据接入,CDM负责数据模型设计,ADS负责数据的应用产出。实现了数据接入、处理、输出的解耦。而CDM中又分为DIM、DWD、DW、DWS:将数据分为是事实表和维度表,事实表关注的具体的事件,维度表关注事件的相关信息,进一步将数据的的功能的解耦。第二是...原创 2022-02-10 22:40:08 · 1133 阅读 · 0 评论 -
企业数据发展三阶段
对于一个企业来讲,数据能力的发展我个人总结为了了以下三个阶段阶段一:数据仓库阶段数据能力刚刚建起,数据团队开始逐步接入各个业务体系数据,以及设计接入埋点的数据。面对各方涌入的大量数据,搭建企业级数据仓库,对于数据进行有规划的接入,存储,建模,分析。初步具备数据资产的管理能力,以及面向业务团队的支撑能力。但是对外的产出大量依赖于人力的获取或者简单的bi查询。此阶段的重点是:数据同步,数据建模开发。阶段二:数据平台阶段...原创 2022-02-10 22:37:35 · 3691 阅读 · 1 评论