数据治理阶段、目标、成果物以及工程师具体工作
一.数据治理及其目标
数据治理的目标:提高数据质量并赋能业务,以实现企业的业务和管理目标。为了实现该目标而开展的技术、业务和管理活动都属于数据治理。
数据治理的最终成果物应该是可持续的、可量化的自驱动业务体系。
二.数据治理的不同阶段
2.1数据集成阶段
企业将不同IT系统统一到数据仓库进行管理,使人、财、物等资源信息能够在企业中集成共享。该阶段最应该做好的是数据梳理与建模,明确数据标准管理并无条件执行,通过元数据标准化、主数据标准化以及指标数据的标准化建立高质量的数据模型。
成果物:承上启下的数据模型/主题模型
2.2数据管理阶段
企业高层意识到数据战略的重要性,企业的业务和管理决策开始以数据为重要依据,数据成为企业的重要资源。该阶段不能再“头痛医头脚痛医脚”,取而代之的应该有全面的数据治理体系,企业自上而下的数据治理实践。
成果物:有方向、有路径、有技术、有方法的数据管理体系
2.3成熟阶段
数据治理必须作为一项企业长期业务来进行才是真正成功的。成熟阶段的数据治理不再被视为信息化的支撑体系,而是企业的一项常规业务,就如同企业的生成、销售、服务等业务一样。该阶段数据在企业管理决策中将起到决定性作用。
这种阶段可以理解为是一种理想状态,毕竟要摒弃技术是销售养的这种观念就是一种理想。
成果物:可持续的、可量化的自驱动业务体系,数据治理真正融入到企业DNA
三.什么是成功的数据治理
3.1理想状态
成功的数据治理是自我驱动、自我进化、可持续发展和长效运营机制。随着提高数据质量有效举措的展开,数据利用率和数据价值均得到提高,与此同时达到了业务提升的目的,进而形成良性循环。最终数据在企业管理决策、业务创新中不仅起着支撑和参考的作用,而且还是驱动要素。数据不仅被作为企业的重要生产资料,甚至还可以重塑企业的商业模式。
3.2现实意义
根据企业发展的阶段,制定合适的数据治理战略。对于大多数国内企业来说,能完成高质量数据的输出就是成功的数据治理。
个人认为起步或快速扩张的企业能做好数据模型就是最好的数据治理了,这个阶段不存在靠企业内部数据治理“弯道超车”,更多的是资源浪费;发展稳定的企业也要视能力、业务复杂性、市场要求而定,总之不同类型企业的数据治理策略绝对不能一概而论,成功与否更不能只有一个标准,做到什么程度更不应该成为标准。但这并不是要否定 “从开始就以数据治理的思想构建数据平台/数据中台” 这种思维的正确性、重要性和合理性。
四.数据治理工程师
虽说“不想当将军的士兵不是好士兵”,不过士兵还是要先做自己的本质工作。数据治理的战略、考核不是我等应该考虑的,工程师直接聚焦到技术实现上。那么工程师需要具备哪些能力。
需要重点说明的是,数据治理要基于工具来进行,产品化的工具可以事半功倍。所以数据治理工程师的更多工作是结合业务使用工具来完成工作。
该图来源于睿治数据治理平台,国内功能最全的数据治理产品之一。
4.1数据梳理与建模
无论是否自己团队做的数据建模,都应该先对当前的数据模型有清楚的认识,数据模型是企业数据治理中最核心的工具。数据模型对上承载业务需求的元数据,对下是数据标准管理的内容,同时数据模型是数据质量指标和规则定义的起点,是主数据和参照数据设计的根本,是数据仓库和BI的核心,也是数据安全的管控对象。
具体工作:模型版本管理、数据模型管理、数据模型分析等
4.2数据标准管理
数据标准主要包含三个方面的标准:
- 元数据标准
- 主数据标准
- 指标数据标准
数据标准的制定和应用及其重要,明确的命名规则、统一的码值标识、精确的数据维度都是高质量数据的开端
具体工作:数据标准的编制、审批、发布和使用等
4.3元数据管理
元数据管理管理的是数据资产所设计的源系统、数据平台、数据仓库、数据模型、数据库、表、字段以及字段和字段的关系,为数据提供了完整的血缘关系,可以追溯发生数据质量问题以及其他问题的根本原因。
具体工作:元数据采集、元数据管理、元数据分析等
4.4主数据管理
主数据是企业最基础、最核心的数据。通过主数据可以解决各异构系统的数据不标准、不一致的问题,保障业务连贯性及数据一致性、完整性、准确性,提高业务条线之间的协同能力。
具体工作:建模、编码、管理、清洗、集成等。
4.5数据质量管理
持续提升数据质量是企业数据治理的核心目标,数据质量管理的范围往往需要根据业务的需求和目标进行定制。
具体工作:数据质量指标管理、数据质量规则管理、数据质量评估任务、数据质量评估报告
4.6数据安全治理
数据安全治理贯穿数据采集、传输、存储、处理、交换和销毁的整个生命周期。数据安全涵盖操作系统安全、网络安全、数据库安全、软件应用安全等。
具体工作:身份认证、访问控制、数据授权、安全审计、数据脱敏、数据加密等
4.7数据集成与共享
数据集成与共享是为了更好的使用数据而提供的技术能力和手段。各种类型的数据应用项目,如数据分析挖掘、数据仓库、主数据管理、应用集成、数据资产管理等,都离不开数据集成。
综上,数据治理工程师需要参与数据的“采”、“存”、“管”、“用”,担负大数据开发、ETL开发、BI开发、数据分析、AI算法、数据安全等全数据生命周期工作的润滑和驱动职责。
声明:本文所载信息不保证准确性和完整性。文中所述内容和意见仅供参考,不构成实际商业建议,可收藏可转发但请勿转载,如有雷同纯属巧合