数仓建模—数据集市(DM)

数仓建模—数据集市(DM)

这里我们先回忆一下数据仓库的定义, 数据仓库(Data Warehouse) 是一个面向主题的(Subject Oriented) 、集成的( Integrate ) 、相对稳定的(Non -Volatile ) 、反映历史变化( Time Variant) 的数据集合用于支持管理决策。更多关于数据仓库的可以参考数仓建模—数仓初识,而且前面我们也介绍了大量关于数仓建模这一块的内容,具体可以参考我们的专栏数仓建模

今天我们介绍一个在数仓中非常常见的概念——数据集市,数仓定义中的五个特性都值得一一仔细品味,随着你对数仓的理解加深,你对这个五个特性的理解也会更加全面,这里你可以参考一下,我是怎样理解数据集成的,可以参考数仓建模—数据集成

首先数据仓库用于支持决策,面向分析型数据处理,它不同于企业现有的操作型数据库;其次,数据仓库是对多个异构的数据源有效集成,集成后按照主题进行了重组,并包含历史数据并且存放在数据仓库中的数据一般不再修改。

什么是数据集市(DM)

这里有一个词是主题,那就是我们集成后的数据,又按照了主题进行了划分,而面向主题划分出来的一个个小的集合构成了就是数据集市,也就是说数据集市是数据仓库的一个子集也就是数据仓库的一层。

主题域用于将数据集市按照分析视角进行划分,通常是联系较为紧密的数据主题的集合。可

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
数仓建模是为了支持数据仓库的设计和构建,从而实现对数据的有效管理和分析。以下是数仓建模的一般实施细则: 1. 需求收集和分析:与相关的业务部门和利益相关者合作,收集数据仓库的需求,并进行详细的需求分析。了解业务流程、数据来源和数据需求,确保数仓模型能够满足业务需求。 2. 数据源分析:对数据源进行详细的分析,了解数据的结构、关系和含义。对于每个数据源,确定其与其他数据源的关联关系和集成方式。 3. 建模方法选择:根据需求和数据源分析的结果,选择合适的建模方法。常见的建模方法包括维度建模(如星型模型、雪花模型)和规范化建模(如第三范式)等。 4. 实体识别和关系定义:根据业务需求和数据源分析,确定数仓中的实体(如产品、客户、订单等),并定义它们之间的关系。这可以使用实体关系图、实体属性列表等方式进行描述。 5. 维度建模:对事实表和维度表进行设计。事实表包含业务度量(如销售金额、数量等)和外键(与维度表关联),而维度表包含维度属性(如时间、地理位置、产品等)。这可以使用维度模型设计工具(如星型模型工具)进行建模。 6. 规范化建模:根据第三范式原则,将数据分解为多个规范化表。每个表代表一个实体或关系,具有唯一标识符和属性。这可以使用实体关系图和关系模式进行描述。 7. 数据粒度定义:定义事实表和维度表的数据粒度,即数据的最小可分析单元。这有助于确定数据聚合和查询的粒度,并支持不同层级的分析。 8. 层次结构设计:对维度表中的属性进行层次结构的设计,以支持分层分析。例如,时间维度可以按照年、季度、月份等进行层次划分。 9. 元数据管理:对数仓中的各个表、字段和关系进行元数据管理,以支持数据的理解、发现和文档化。这可以使用元数据管理工具或元数据仓库来实现。 10. 数据仓库架构设计:根据具体情况,设计数据仓库的架构,包括物理架构(如服务器、存储等)、ETL流程和工作流程等。确保数据仓库的可扩展性、性能和可靠性。 11. 模型验证和优化:对建立的数据仓库模型进行验证和优化,包括合理性检查、性能测试和数据一致性验证等。根据验证结果进行必要的调整和改进。 12. 实施和部署:根据设计和验证的结果,实施数据仓库模型,并将其部署到生产环境中。确保数据的准确性、完整性和安全性。 以上是数仓建模的一般实施细则,具体的实施过程可能会因组织和项目的需求而有所不同。在实施过程中,需要与相关的业务部门和技术团队密切合作,确保数仓建模能够满足业务需求,并具备良好的性能和可扩展性。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值