数仓分层哪四层?作用都是什么?

ods层:
数据来源及建模方式:各业务系统的源数据,物理模型与业务模型一致;
服务领域: 为其它逻辑层提供数据;
数据ETL过程描述:把业务数据抽取落地成文本文件,再装载到数据仓库ods层,不做清洗转化。
功能:
1)ods是数仓准备区
2)为dwd提供原始数据
3)减少对业务系统影响
建模方式及原则:
数据保留时间根据实现业务需求而定;
可以分表进行周期性存储,存储周期不长;
从业务系统以增量方式抽取加载到ods;
数据模型与粒度与业务系统一致(3NF)。

dwd层:
数据来源及建模方式:数据来自于ods层,是DW明细事实层,数据模型与ods层一致;
服务领域:为edw提供各主题业务明细数据;
数据ETL过程描述:根据ods增量数据和前一天DWD相关表进行merge生成全量数据,不做清洗转化,保留原始全量数据。
功能:
1)为DW层提供来源明细数据
2)为未来分析类需求的扩展提供历史数据支持。
建模方式及原则:
为支持数据重跑可额外增加数据业务日期字段;
可按天月年进行分表;

dw层:
数据来源及建模方式:数据来自dwd层,是DW事实层,采用维度建模,星型架构,这一层可细分为dwb与dws;
服务领域:为EDS提供各主题业务明细;
数据ETL过程描述:从dwd层进行轻度清洗,转化,汇总生成dw层数据,如字符合并,email,证件号,日期,手机号转换合并;按各个维度进行聚合汇总。

dm层:
数据来源及建模方式:数据来自dw层,采用维度建模,星型架构;
服务领域:数据挖掘,自定义查询,应用集市;
数据ETL过程描述:从dw层进行粗粒度聚合汇总,按业务需求对事实进行拉宽形成宽表。

st层:
数据来源及建模方式:数据来自dw层,采用维度建模,星型架构;
服务领域:前端报表展示,主题分析,kpi报表;
数据ETL过程描述:从dw层进行粗粒度聚合汇总,如按年、月、季、天对一些维度进行聚合生成业务需求的事实数据。

  • 8
    点赞
  • 41
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
和事业单位中,VMware ESXi可以用于服务器虚拟化环境的搭建等。 实现功能的配置数仓分层一般包含以下几: 1. 原始数据(Staging Layer):包含从各个步骤: 1)下载并安装VMware ESXi软件。 2)配置物理机器的硬件参数和网络连接。 3)创建一个虚拟机,配置虚拟机的操作系统、CPU、内存、硬盘等参数。 4数据源提取的原始数据,数据经过简单的清洗和转换后,保存到该中。 2)安装操作系统和应用程序。 5)配置虚拟机的网络连接,使虚拟机能够与物理. 数据清洗(Data Integration Layer):对原始数据进行清洗、过滤、转换等操作,使得网络相连。 6)克隆虚拟机,以便可以创建多个相同的虚拟机。 7)配置虚数据可以被后续的数据处理使用。该一般包括数据清洗、数据重构、数据合并等拟机的资源共享,使多个虚拟机可以共享同一份数据。 8)配置虚拟机的备处理过程。 3. 数据处理(Data Warehouse Layer):将经过清洗和转换的数据保存到数据仓份和恢复功能,以便在虚拟机出现故障时可以快速恢复数据。 具体在企事库中,以供数据析和报表生成使用。该一般包括数据抽取、数据转换、数据业单位的应用特点: 1)提高资源利用率:企业和事业单位通常有大量的加载等处理过程。 4. 数据应用(Data Mart Layer):为不同的业务部门提供定闲置资源,通过VMware ESXi可以将这些资源有效地利用起来,从而降低IT成本。 制化的数据应用服务,即将数据仓库中的数据按照不同的业务需求进行划,2)简化管理:通过VMware ESXi,可以将多个物理机器上的虚拟机集中管理,减少了对硬件的维护和管理工作。 3)提高可用性和可伸缩性:通过VM形成多个数据集市。 5. 数据(Business Intelligence Layer):对数据进行析和挖掘,ware ESXi,可以快速地创建和销毁虚拟机,从而提高系统的可用性和可伸缩为企业决策提供支持。该一般包括数据查询、报表生成、数据可视化等处理过程。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值