#数仓分层总结(ods、dim、dwd、dws、tdm、ads)

1.ODS(**operation data store****,操作数据层**):

  ODS层数据主要是,收集数据采集接口采集的原始数据,可以做简单的聚合,不做深度加工。用电信业务举例,这里的数据基本上是来自xdr和trace的数据。

2.DIM(**dimention,公共维度层**):

  基于维度建模理念思想,建立整个企业的一致性维度。降低数据计算口径和算法不统一风险。公共维度层的表通常也被称为逻辑维度表,维度和维度逻辑表通常一一对应。

3.**DWD(data** **warehouse** **detail,明细数据层****)

主要对ODS层做数据清洗和规范化的操作,并且可以按照不同的行为维度对数据进行划分,即事实表。分为3种类型:

•**事务事实表。**发生在某个时间点上的一个事件,比如MR。

•**周期快照事实表。**按照规律时间间隔对事务进行度量,比如15分钟PM。

•**累计快照事实表。**涵盖一个事务或离散对象生命周期的不确定时间跨度的度量。比如呼叫话单,含有起呼时间、接听时间、终呼时间、通话时长等多个事务状态与累计度量。

  这里业务上会有大宽表的说法,个人理解大宽表就是一个业务字段的汇总,一般有几百个字段,相当于是XDR和TRACE的表的数据的汇总。

4.DWS(data  warehouse  service,服务数据层)

对各个域进行了适度汇总,主要以数据域+业务域的理念建设公共汇总层。如天统计、栅格统计,区域统计

5.TDM(tag  data  model,标签层)

l面向对象建模,对跨业务板块、跨数据域的特定对象数据进行整合,通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通,形成对象的全域标签体系,方便深度分析、挖掘、应用。TDM分为3种类型:

•**统计类:**统计对象相关数值,客观描述对象状态的标签,如高负荷小区近7天话务量、小区近7天弱覆盖天数。(区别于DWS层常规的天统计、月统计)

•**规则类:**根据业务运营上的需要,在业务层面制定规则的标签。如弱覆盖小区、高负荷小区、漫游用户

•**数据挖掘类:**应用算法挖掘对象相关特征。如不满意用户、私家车、快递员

6.ADS(application  data  store,应用数据层)

l按照业务的需要从统一数仓层、标签数据层抽取数据,并面向业务的特殊需要加工业务特定数据,以满足业务及性能需求,向特定应用组装应用数据。

在数据仓库中,ODSDWDDWS、DM、DIM、DWM和ADS都是一些常见的术语缩写,它们是数据仓库的不同层次或模块,具体含义如下: 1. ODS(Operational Data Store):操作型数据存储层。ODS是数据仓库中的第一层,用于存储从各个业务系统中提取的源数据,该层的数据结构、粒度和格式都与源系统保持一致,是数据仓库中数据处理的第一步。 2. DWD(Data Warehouse Detail):数据仓库明细层。DWD是数据仓库中的第二层,用于存储经过清洗、集成和加工后的数据,该层的数据结构、粒度和格式都已经进行了标准化和统一,是数据仓库中最主要的数据存储层。 3. DWS(Data Warehouse Summary):数据仓库汇总层。DWS是数据仓库中的第三层,用于存储对DWD层数据进行聚合、计算和汇总后的结果,该层的数据结构、粒度和格式都已经进行了优化和压缩,是支持数据分析和决策的重要数据源。 4. DM(Data Mart):数据集市。DM是数据仓库中的一个分支或子集,用于针对具体业务需求和分析场景,对DWDDWS层的数据进行再加工和汇总,以支持更精细化和个性化的数据分析和决策。 5. DIMDimension):维度表。DIM是数据仓库中的一个重要概念,用于描述业务数据的各种维度属性,如时间、地域、产品、客户等,是数据分析和报表展示的基础和关键。 6. DWM(Data Warehouse Metadata):数据仓库元数据层。DWM是数据仓库中的一个特殊层,用于存储数据仓库中各种对象和元素的定义和描述信息,如表、视图、报表、指标、度量等,是数据仓库管理和维护的基础和关键。 7. ADS(Analytic Data Store):分析型数据存储层。ADS是数据仓库中的一种新型架构,它将ODSDWDDWS三层数据合并到一起,以支持数据分析和决策的实时性和灵活性,是一种适合大数据、实时计算和机器学习的数据仓库技术。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值