数仓建模—数据治理

最新推荐文章于 2024-06-24 21:35:16 发布
最新推荐文章于 2024-06-24 21:35:16 发布
阅读量97 收藏
点赞数
分类专栏： 数仓建模 文章标签： 数据仓库 数仓建模
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84052244/article/details/138133846
版权
本文探讨了数据治理在数仓建模中的重要性，包括统一流程参考模型、数据质量治理、DMBOK框架、数仓治理的分类、数据源和模型治理等方面。强调了数据治理对于提升数据准确性、消除信息孤岛、确保数据安全以及优化资源利用的关键作用。同时，提出了数仓评价的多个指标，如数据准确性、时效性和稳定性，以评估数据仓库的质量。
摘要由CSDN通过智能技术生成

文章目录

数仓建模—数据治理

  • 元数据管理
  • 数据质量
  • 数据模型
  • 安全管理
  • 主数据管理
  • 数据生命周期

数据治理（Data Governance），是一套持续改善管理机制，通常包括了数据架构组织、数据模型、政策及体系制定、技术工具、数据标准、数据质量、影响度分析、作业流程、监督及考核流程等内容。

统一流程参考模型

image-20201205183104040

为什么要治理

image-20201205183119801

  • 不论是金融行业、通讯行业、地产行业、传统制造业以及农业，其信息化的发展基本都遵循了“诺兰模型”。笔者认为企业信息化大致经历了初期的烟囱式系统建设、中期的集成式系统建设和后期的数据管理式系统建设三个大的阶段，可以说是一个先建设后治理的过程。
    • </
了解本专栏 订阅专栏 解锁全文 超级会员免费看
猫猫姐
关注
专栏目录
订阅专栏
数仓建模—美团配送数据治理实践
05-28 5万+
数据地图作为元数据应用的一个产品，聚焦于数据使用者的“找数”场景，实现检索数据和理解数据的“找数”诉求。我们通过对离线数据集和在线数据集的元数据刻画，满足了用户找数和理解数的诉求，通过血缘图谱，完成物理表到产品的血缘建设，消除用户人肉评估的痛苦。在数据标准方面，我们制定了业务标准、技术标准、安全标准、资源管理标准，从而保障了数据生产、管理、使用合规。在数据架构方面，我们通过桥接表、时间刻度化、业务口径下沉等手段提升模型灵活性，并保障数据一致性，消除跨层引用和模型冗余等问题。
苏槐: 数据治理的本质及实践
Julia & Rust & Python
08-13 1219
有关数据治理的本质及实践，看这一篇就够了！ 原创： 苏槐 AI前线 今天 https://mp.weixin.qq.com/s/DxQ9pRKN-DTKcXCEzw_7SA 作者 | 苏槐 编辑 | 陈思 AI 前线导读：近三年，随着阿里数据中台战略的提出，以及各种数据应用场景的成功落地，企业和政府对自身数据资产的价值也前所未有的重视起来。但是，数据资产的价值发掘依赖于有序、完整和高质量的数据，数...
数仓：数据治理
nl04148的博客
07-15 421
数据安全：https://blog.csdn.net/luomingkui1109/category_10063015.html 数据质量：https://blog.csdn.net/luomingkui1109/category_6931112.html 元数据：https://blog.csdn.net/luomingkui1109/category_9427270.html
数据仓库系列--建模_李孟_新浪博客
李孟的博客
04-17 370
一.数据仓库的数据模型 1.系统记录域（System of Record）：这部分是主要的数据仓库业务数据存储区，数据模型在这里保证了数据的一致性。 2.内部管理域（Housekeeping）：这部分主要存储数据仓库用于内部管理的元数据，数据模型在这里能够帮助进行统一的元数据的管理。 3.汇总域（Summary of Area）：这部分数据来自于系统记录域的汇总，数据模型在这里保证了...
数仓建模
weixin_42874157的博客
04-19 488
https://blog.csdn.net/zuochang_liu/article/details/81434611
数仓建模—数据治理的本质与实践
04-07 4万+
数据治理的本质与实践 近三年，随着阿里数据中台战略的提出，以及各种数据应用场景的成功落地，企业和政府对自身数据资产的价值也前所未有的重视起来。但是，数据资产的价值发掘依赖于有序、完整和高质量的数据，数据治理则是保障数据质量和实现数据价值的基础，它包含一整套构建核心数据资产的方法论、规章制度和实施工具。 什么是数据治理 我们认为，数据治理是指从使用零散数据变为使用统一数据、从具有很少或没有组织流程到企业范围内的综合数据管控、从数据混乱状况到数据井井有条的一个过程。 所以，数据治理强调的是一个过程，是一个从混乱
数仓建模—初识数据治理
最新发布
06-24 3万+
2015年左右，企业兴起了大数据平台的建设，并且到2018年，数据中台概念流行，数据中台中包含统一资产管理、统一数据元管理等与数据治理相关的内容。按IBM的定义，数据治理是企业通过不同的策略和标准，提高组织数据的可用性、质量和安全性的一整套制度与管理活动，数据治理的目标是维护安全且易于访问的高质量数据，以获取更深入的业务洞察。在包括金融、通信、能源、制造等数据治理开展相对成熟的行业，较多企业都已设置数据治理的专职部门和岗位，而且越是数据治理成熟的企业，专职部门越是靠近业务侧，且专职部门级别越高。
数仓建模—逻辑数据模型
热门推荐
04-18 6万+
在我们深入研究 LDM 之前，我们先来了解一下什么是数据模型以及数据建模根据IBM 的说法，它是“创建整个信息系统或部分信息系统的可视化表示，以传达数据点和结构之间的连接的过程”。能够可视化数据结构之间的这些关系使组织能够确定哪些业务领域需要改进。数据模型分为三种类型：概念型、逻辑型和物理型。通常，数据架构师和业务相关者是创建概念数据模型的用户。构建这些类型的目的是组织和定义业务概念和规则。它们具有不同类型的子模型，例如语义数据模型和业务数据模型。其实我们在数仓建模—建模流程。
模型设计_数仓建模.docx
09-02
大数据、人工智能、数仓、数据治理 数据仓库 按照传统的定义，数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。
数据治理与数据仓库模型建设
08-07
数据治理与数据仓库模型设计的建设流程讲解
数仓建模—数据管理能力成熟度评估模型(DCMM)
05-28 5万+
DCMM是国家标准《GB/T36073-2018 数据管理能力成熟度评估模型》（Data management Capability Maturity Model）的英文简称。DCMM（Data Management Capability Maturity Assessment Model，数据管理能力成熟度评估模型）是我国首个数据管理领域国家标准，将组织内部数据能力划分为八个重要组成部分，描述了每个组成部分的定义、功能、目标和标准。
数仓---建模
LiaoQiang_big的博客
11-02 198
1
数据仓库学习（二）——数据仓库建模
livan1234的博客
07-10 3万+
笔者是一个痴迷于挖掘数据中的价值的学习人，希望在平日的工作学习中，挖掘数据的价值，找寻数据的秘密，笔者认为，数据的价值不仅仅只体现在企业中，个人也可以体会到数据的魅力，用技术力量探索行为密码，让大数据助跑每一个人，欢迎直筒们关注我的公众号，大家一起讨论数据中的那些有趣的事情。 我的公众号为：livandata 1、什么是数据建模： 数据模型是抽象描述现实世界的一种工具和方法，是通过抽...
数仓建模(一)
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
08-03 114
　　范式理论 　　何为范式，何为建模 　　函数依赖 　　1. 完全函数依赖 　　2. 部分函数依赖 　　3. 传递函数依赖 　　第一范式 　　第二范式 　　第三范式 　　何为范式，何为建模 　　范式理论和谁有关？和关系建模有关，通常我们说的三范式是啥东西，啥叫范式...
数仓建模（维度建模）
aijiudu的博客
07-25 4617
本文主要介绍什么是建模？模型的好处？建模的方法和维度建模。从基本概念、维度、事实、为何分层和建模步骤等角度详细介绍维度建模。
数据仓库分层架构
我的祖传代码
04-13 2626
数据仓库一般分为ODS层、DWD和DWS层、app应用层(ADS层)。 ODS层：数据仓库源头系统的数据表通常会原封不动地存储一份，这成为ODS(Operation Data Store)层。它们是后续数据仓库层加工数据的来源，同时也存储着历史的增量数据或全量数据。 DWD和DWS层：数据仓库明细层(Data Warehouse Detail, DWD)和数据仓库汇总层(Data Wareho...
数仓建模篇（一）
qq597213343的博客
04-06 2610
数据仓库 数据仓库之父比尔·恩门（Bill Inmon）在1991年出版的“Building the Data Warehouse”（《建立数据仓库》）一书中所提出的定义一直被广泛接受：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、集成的（Integrated）、相对稳定的（Non-Volatile）、反映历史变化（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。 数据架构的原则 1、底层业务
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值