数仓建模—数据治理

数据治理

  • 元数据管理
  • 数据质量
  • 数据模型
  • 安全管理
  • 主数据管理
  • 数据生命周期

数据治理(Data Governance),是一套持续改善管理机制,通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核流程等内容。

统一流程参考模型

image-20201205183104040

为什么要治理

image-20201205183119801

  • 不论是金融行业、通讯行业、地产行业、传统制造业以及农业,其信息化的发展基本都遵循了“诺兰模型”。笔者认为企业信息化大致经历了初期的烟囱式系统建设、中期的集成式系统建设和后期的数据管理式系统建设三个大的阶段,可以说是一个先建设后治理的过程
数据质量层次不齐
  • “数据资产化”的概念已经被大多数人理解和接受。不论是企业、政府还是其他组织机构,对于的数据资产的管理越来越重视。然而,数据并不等于资产,也就是说不是所有数据都是数据资产,数据中也有垃圾数据。我们需要治理的是能够为企业创造价值的数据资产,而不是全部数据。
  • 8
    点赞
  • 83
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 2
    评论
Hadoop生态是开源大数据处理框架Hadoop所形成的一系列相关技术的集合,它包括了Hadoop分布式存储系统HDFS、分布式计算框架MapReduce、分布式调度器YARN等关键组件,以及一些配套工具和项目(如Hive、HBase等),用于构建和管理大规模数据处理引擎。 而数据仓库建模(Data Warehouse Modeling)则是指根据业务需求和数据分析目标,将企业或组织的数据整合、清洗并转化为可供分析和决策支持的结构化数据模型(通常采用维度建模或者规范化建模方法)的过程。数据仓库建模的目标是提供高性能、高可用性和易于维护的数据分析环境,为企业提供准确、可信赖的决策支持。 Hadoop生态和数据仓库建模之间存在一定的关系。由于Hadoop具备存储海量数据和并行处理大规模数据的能力,因此可以作为数据仓库的底层存储系统。同时,Hadoop生态中的组件和工具(如Hive)也提供了对数据的清洗、转换和查询等功能,可以支持数据仓库的构建和维护。通过将数据仓库与Hadoop生态相结合,可以建立起一个大规模的、高性能的数据处理平台,实现更快速、更灵活的数据仓库建模和分析。 值得注意的是,数据仓库建模并非只依赖于Hadoop生态,还有其他数据仓库架构和技术可供选择,如传统关系型数据库、商用数据仓库平台等。因此,在具体实施数据仓库建模时,需要根据实际需求和技术成本进行选择,权衡各种方案的优劣,并结合Hadoop生态的特点和能力,合理规划和设计数据仓库建模方案。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

不二人生

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值