【2024.7.19】 数据治理的一些东西

定义

阿里

“数据治理”即建立在数据存储、访问、验证、保护和使用之上的一系列程序、标准、角色和指标，以期通过持续的评估、指导和监督，确保富有成效且高效的数据利用，促进跨组织协作和结构化决策，为企业创造价值。

华为

解决没有统一的数据标准，各业务系统间数据无法共享，关键核心数据无法识别以及跨系统无法拉通等。为有效管理 数据资产，实现数据价值最大化，急需建立一个完善的数据治理框架体系，为企业数字化转型打下坚实的数据基础

火山引擎

统一数据资产及标准，结合建模规范、数据质量、基线监控、SLA 治理等能力，提供全周期数据治理能力。

核心要素

• 主体

  • 国家组织

  • 行业标准

  • 企业经营

• 对象

  • 个人数据

  • 企业数据

  • 行业数据

• 过程

  • 采集过程

  • 存储过程

  • 传输过程

  • 应用过程

  • 销毁备份

• 策略

  • 数据标准

  • 数据质量

  • 数据安全

  • 数据资产

• 价值

  • 提升质量

  • 保障风险

  • 降本增效

六大痛点

• 组织架构不匹配，推进难度大

• 数据孤岛严重、数据打通困难重重

• 企业数据质量管理难，问题积压

• 企业数据资产管理混乱，想重新梳理不知从何而起

• 数据开放风险大，数据安全不合规

DCMM评估模型

• 1.、数据战略

• 2、数据治理

  • 数据治理组织

  • 数据制度建设

  • 数据治理沟通

• 3、数据架构

• 4、数据应用

• 5、数据安全

• 6、数据质量

• 7、数据标准

• 8、数据生命周期

数据治理标准体系

• A基础共性

  • 业务术语

  • 参考架构

  • 通用要求

  • 测评评估

• B数据基础设施

  • 数据库

  • 大数据平台

  • 数据资产管理

  • 数据分析挖掘

  • 数据流通

  • 数据安全

• C数据资产管理

  • 基础数据

  • 主数据

  • 元数据

  • 数据质量

  • 数据架构

  • 数据开发

  • 数据应用

  • 数据共享

  • 数据运营

  • 数据价值评估

• D数据流通

  • 数据开放

  • 数据交易

  • 数据跨境

• E数据安全

  • 基础安全

  • 全生命周期安全

数据标准体系

• 采集标准

  • 数据采集频率

  • 数据采集字段

  • 数据采集质量

• 质量标准

  • 数据准确性

  • 数据完整性

  • 数据一致性

• 资产标准

  • 数据分类

  • 数据归属

  • 数据维护

• 安全标准

  • 数据访问控制

  • 数据传输加密

  • 数据备份恢

数据质量价值评估

• 完整性

• 唯一性

• 有效性

• 一致性

• 准确性

• 及时性

数据治理框架

• 数据标准

  • 数据字典发布

  • 数据源认证

  • 集成标准

  • 数据标准制定

  • 关键对象识别

• 数据架构

  • 数据分布

  • 数据资产

  • 数据模型

• 元数据

  • 数据地图

  • 血缘关系

  • 元数据模型

  • 元数据规范

• 主数据

  • 主数据规范

  • 主数据定义

  • 主数据识别

• 数据质量

  • 数据质量改进

  • 数据质量度量

  • 数据质量控制

  • 数据质量标准

• 数据安全

  • 数据销毁安全

  • 数据使用安全

  • 数据处理安全

  • 数据存储安全

  • 数据传输安全

  • 数据采集安全

现状评估

• 01、数据架构

  • 工具：数据管理工具

  • 范围：数据模型，数据定义，数据映射规范，数据流，结构化数据应用变成接口

  • 模式：数据中台，数据前台，数据BP

• 02、数据集成

  • 目的：

    • 1、按照所需格式，及时得提供安全、合规的数据

    • 2、将数据物理的或虚拟的合并到数据中心，进行统一的存储和管理

    • 3、支撑商务智能、数据分析、主数据管理，并致力于提高运营效率

  • 解决方案：开发数据流处理、制定数据迁移方案、制定任务方式、维护数据集成和元数据

• 03、数据模型

  • 定义：以数据模型的精确形式，进行发现、分析、展示、和沟通数据需求，它包括数据模型管理、数据模型的命名规范、定义标准、标准域、标准缩写等

• 04、元数据

  • 数据血缘：数据从生产、处理、流转到消亡过程中，数据之间形成的类似于人类社会血缘关系的关系(粒度：表级或字段级)

  • 内容构成

    • 1、业务元数据(业务主题、业务规则、业务分类等非技术名称和定义)

    • 2、技术元数据(字段名称、字段类型等有关的数据的技术细节的信息)

    • 3、管理元数据(数据归属、数据等级等针对数据进行管理的信息)

  • 目标

    • 1、改善数据使用者和IT专业人员之间的沟通，解决大家对于名字的一致理解

    • 2、全面记录数据背景、历史，确保大家对于名字的一致理解

    • 2、全面记录数据背景、历史，确保人们理解和使用数据内容的一致性

    • 3、了解来自组织不同部门的数据之间的相似和差异

    • 4、确保元数据的质量、一致性、及时性，以免耽误数据分析和决策

• 05、数据质量

  • 目标

    • 1、提高组织数据价值和数据利用的机会

    • 2、降低低质量数据导致的风险和成本

    • 3、提高组织效率和生产力

  • 处理方式：数据清洗、数据增强、数据解析、数据转换

  • 评估维度

    • 1、完整性

    • 2、唯一性

    • 3、及时性

    • 4、有效性

    • 5、准确性

    • 6、一致性

• 06、数据安全

  • 定义：确保数据隐私和机密性得到维护，数据不被破坏、数据被适当访问

  • 数据防护：识别数据安全、制定安全制度、数据防护策略、评估当前风险、实施和监控