数据仓库基础知识

数据仓库是一个为了分析和决策支持而设计的大数据存储集合,包含元数据、数据模型和指标规范。其建设流程包括调研、设计和开发阶段。数仓架构涉及数据源、数据模型层和应用层。主要的数据模型有E-R关系模型和维度模型,其中维度模型分为星型和雪花模型,各有优缺点。维度表设计需考虑业务需求和粒度,而事实表设计则关注完整性、一致性和易用性。
摘要由CSDN通过智能技术生成

1.什么是数据仓库?
数据仓库,data warehouse,简写为dw。数据仓库顾名思义,是一个很大的数据存储集合,出于企业的分析性报告和决策支持目的而创建,对多样的业务数据进行筛选与整合。
它为企业提供了一定的BI(商业智能)能力,指导业务流程改进,监视时间、成本、质量以及控制
基于业务数据满足业务需求,不仅是存储,更侧重决策和管理
特点:面向主题、集成、随时间变化、非易失(不建议删除更新操作)
组成:元数据,开发编码,数据模型,指标规范,血缘关系,
2.为什么要建数据仓库
业务痛点:数据资产模糊、数据质量低、重复建设、代码耦合高、问题难定位,周期长、无法应对频繁临时需求,当需求量增多了,要想快速标准规范产出需求,就需要有一个方法论一个规范,每一层应该干嘛,每一层产出啥,
有这样一个规范,当你需要新增需求的时候,就不会手忙脚乱了
3.怎么建数据仓库
建设流程
1调研阶段:业务流程调研、业务数据调研、应用需求调研
2.设计阶段:明确数据接入范围、划分数据域及构建共现矩阵、中间层模型设计、明确指标口径、派生指标拆解
3.数据开发阶段 :ODS数据接入、ETL开发、规范建模、指标校验、ADS层应用数据开发

数仓架构
1.数据源:业务中台数据,业务系统数据,第三方数据
2.数据模型层:ODS基础数据层,CDM公共模型层
3.应用层:ADS应用数据层

 ODS(Operation data st
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值