目录
4.8.2 数据标准包括三个要素:标准类别、数据元、数据属性。
1.组织规划
数据中台是企业级战略,支撑企业数字化转型,涉及企业方方面面,数据中台的战略执行必然需要企业组织的保障,组织规划可以从这五方面进行展开。
1.1 制定战略规划
启动数据中台一定要有战略规划,首先它是“一把手工程”,只有企业的一把手才有这种推力来推动数据中台的建设。数据中台的目标是实现企业经营的数据化,精细化,智能化,本质是建设一套可持续让企业数据用起来的机制。需要相应的组织、制度、流程、资源的保障。
1.2 完善组织结构
数据中台的组织架构主要由数据资产管理委员会、数据资产管理中心和各业务部门构成。
数据认责是数据资产管理在服务各领域、各环节工作落到实处的有效手段,通过数据角色职责开展数据认责相关工作。具体认责条例、管理办法及相关制度流程由数据资产管理委员会进行制定。
1.3 建立制度体系
为了保障活动实施和组织架构正常运转,需要建立一套覆盖数据引入、使用、开放等整个生产运营过程的数据管理规范,从制度上保障数据资产管理工作有据、可行、可控。
在此基础上,规范需细化至接口设计、接口开发、模型设计、模型开发、数据开放以及服务封装等内容。规范的标准一般包括基础分类标准、命名规范要求、数据架构划分、存储与数据权限规则、元数据信息完整性要求等。规范和标准在执行的过程中执行监控规定,要求事中检查和事后监控。事中检查指的是在开发和上线时进行控制,包括命名规范,信息完整性,合理性等;事后监控指的是对存储周期,数据安全敏感信息和加密信息,权限赋权常态化检查。
1.4 设置审计机制
为进一步保障、评估数据资产管理规范、规划、组织机构、制度体系的执行状况,评估数据资产的安全性、准确性、完整性、规范性、一致性、唯一性和时效性,需有完整的贯穿数据资产管理整个流程的审计机制。审计方式从审计体系规范建设入手,信息技术审计方法和专职人员审计方法并行。审计对象包括数据权限使用制度及其审批流程、日志留存管理办法、数据备份恢复管理机制、监控审计体系规范以及安全操作方案等体系制度规范以及敏感、重要数据。数据资产管理在实施过程中需要保障集中审计的可行性。
1.5 进行培训宣贯
培训宣贯是企业实施数据资产管理进程中的重要组成部分,是数据资产管理理论落地实践、流程执行运作的基础,是数据资产管理牵头部门在技术部门和业务部门之间顺利开展工作的重要保障。企业需利用现有资源,合理安排员工参与数据资产管理培训、课程。促进员工有效培训和自我提高,提升人员的职业化水平,强化工作的标准化、规范化。
企业开展数据资产管理的培训教育周期、培训内容和参与方式,包括:行业现有数据资产管理体系课程培训,行业内、外部单位优秀经验沟通与交流,主要参与培训人员部门内二次培训,企业优秀部门、员工经验、案例分享,常规员工培训中添加数据资产管理培训的课程。
2.现状梳理
数据中台有了组织保障之后,首先要做的是对企业现状有个全盘的认知。主要包括4个阶段。
2.1 组织现状
组织架构信息属于企业的基础信息,通过公司、部门、岗位的相关信息收集,可以从组织的角度对企业有整体的理解。我们通常以资料收集加关键部门和岗位访谈的方式进行信息收集。主要内容包括:
2.2 业务现状
业务现状主要通过对业务场景的全面梳理和分类,来理清企业经营的业务板块及各部门和业务场景的关系。业务场景主要包括:
企业价值链是以企业内部价值活动为核心所形成的价值链体系。它把企业的主要经营活动分为基本活动和支持性活动。电商业务的企业价值链如图:
业务模块是对同一个对象的业务活动的集合,可以把企业价值链进一步分解为业务模块,业务员模块又可以分解成一个个不可拆分的行为事件,形成业务过程。通过逐层梳理形成业务场景目录文档:
2.3 技术现状
技术现状主要是指企业的技术架构现状,为数据中台建设做好技术评估。主要内容有:
2.4 数据资源现状
数据资源广义上是指对一个企业而言所有可能产生价值的数据,包括自动化数据与非自动化数据。
2.4.1 数据资源的分类
2.4.2 数据资源的梳理步骤
(1)盘点数据资源
(2)整理数据资源:数据资源形成元数据文档,导入元数据管理系统。
(3)数据资源评估
3.应用服务规划
3.1 数据应用规划
数据应用是产生业务价值的最后一个环节,也是所有业务人员和技术人员关注的焦点。在建设数据中台之前对可能开展的数据应用进行相对系统的规划。
3.1.1 数据应用分类
3.1.2 数据应用规划步骤
3.1.3 数据应用评估模型
3.2 数据服务规划
数据服务是对数据进行计算逻辑的封装,生产API服务,上层数据应用可以对接数据服务API,让数据快速应用到业务场景中。
3.2.1 数据服务分类
3.2.2 数据服务的核心价值
3.2.3 数据服务类型
3.2.4 数据服务规划步骤
4.架构设计
4.1 总体架构图
4.2 数据存储
4.3 计算引擎
4.4 数据汇聚
数据汇聚是把数据资源通过实时、批量的方式存储到数据中台。基本是按照数据的原始状态堆砌在一起的,是企业对过往所有IT信息化建设积累的成果的融合。
4.5 数据开发
数据开发是数据资产内容建设的主战场,是数据价值生产过程中核心环节。数据资源是原材料,数据资产是商品,数据开发就是商品生产流水线,通过这条流水线将数据资源转换成数据资产。
为了降低开发难度,提高开发效率,需要一个可视化的开发平台,主要包括以下产品功能:
4.6 数据体系
数据体系是在全域数据资源的基础上,进行标准定义及分层建模,数据体系建设最终呈现的结果是一套完整、规范、标准、准确的数据体系,可以方便支撑数据应用。
4.6.1 数据体系特征
4.6.2 数据体系分层
-
贴源数据层STG:数据资源通过批量同步和实时接入临时存储的数据层,只存储增量数据或部分全量数据。数据结构与源系统基本保持一致。仅做简单整合、非结构化数据结构化处理、增加审计列,不做深度清洗加工。
-
操作数据层ODS:对贴源数据层进行处理,存储全量数据。数据结构和贴源层保持一致。
-
统一数仓层DW:分为明细数据层DWD、汇总数据层DWS和公共维度层DIM。按照维度建模的方式进行数据组织,定义一致的维度和指标,各业务板块、业务域按照统一规范独立建设,通过清洗、规范化形成统一规范的标准业务数据体系。
-
明细数据层DWD:按照业务过程建立事实表,主要包括维度表的键、原子指标、少量冗余列和审计列。
-
汇总数据层DWS:把DWD层按照业务域进行聚合,形成粗粒度的事实表。主要包括维度表的键、派生指标、少量冗余列和审计列。
-
公共维度层DIM:按照实体对象或数据字典建立维度表,主要包括文本信息、离散数值和审计列。
-
标签数据层TDM:面向对象建模,对跨业务板块、跨数据域的特定对象数据进行整合,通过ID-Mapping把各个业务板块、各个业务过程中的同一对象的数据打通,形成对象的全域标签体系,方便深度分析、挖掘、应用。主要包括标签类目、标签和标签值。
-
数据应用层ADS:按照业务的需要从统一数仓层和标签数据层抽取数据,并面向业务的特殊需要加工业务特定数据,以满足业务及性能需求,向特定应用组装应用数据。
4.7 资产管理体系
数据资产是指由企业拥有或者控制的,能够为企业带来未来经济利益的,以物理或电子的方式记录的数据资源,如文件资料、电子数据等。在企业中,并非所有的数据都构成数据资产,数据资产是能够为企业产生价值的数据资源。
数据资产管理是指规划、控制和提供数据及信息资产的一组业务职能,包括开发、执行和监督有关数据的计划、政策、方案、项目、流程、方法和程序,从而控制、保护、交付和提高数据资产的价值。数据资产管理需要充分融合业务、技术和管理,以确保数据资产保值增值。
4.7.1 资产管理的价值
4.7.2 资产管理职能
4.7.3 资产管理模型评估
4.8 数据标准管理
数据标准是指保障数据的内外部使用和交换的一致性和准确性的规范性约束。数据标准分为基础类数据标准和指标类数据标准。基础类数据标准是指业务流程中直接产生的,未经过加工和处理的基础业务信息。指标类数据标准是指具备统计意义的基础类数据,通常由一个或以上的基础数据根据一定的统计规则计算而得到。
4.8.1 数据标准的分类
4.8.2 数据标准包括三个要素:标准类别、数据元、数据属性。
4.8.3 数据标准和其他职能的关系
数据标准管理是指数据标准的制定和实施的一系列活动。数据标准管理的目标是通过统一的数据标准制定和发布,结合制度约束、系统控制等手段,实现数据的完整性、有效性、一致性、规范性、开放性和共享性管理,为数据资产管理活动提供规范依据
4.8.4 数据标准管理的步骤
4.9 数据模型管理
数据模型是现实世界数据特征的抽象,用于描述一组数据的概念和定义。数据模型从抽象层次上描述了数据的静态特征、动态行为和约束条件。
4.9.1 数据模型的分类
4.9.2 数据建模方法
4.10 数据质量管理
数据质量管理是通过计划、实施和控制活动,运用质量管理技术度量、评估、改进和保证数据的恰当使用。
4.10.1 数据质量维度
4.10.2 数据质量剖析
4.10.3 数据质量测试类型
4.10.4 数据质量管理方法
4.11 元数据管理
元数据是有关一个企业所使用的物理数据、技术和业务流程、数据规则和约束以及数据的物理与逻辑结构的信息。
4.11.1 元数据类型
4.11.2 元数据的应用
4.12 数据安全管理
数据安全管理是指对数据设定安全等级,按照相应国家/组织相关法案及监督要求,通过评估数据安全风险、制定数据安全管理制度规范、进行数据安全分级分类,完善数据安全管理相关技术规范,保证数据被合法合规、安全地采集、传输、存储和使用。企业通过数据安全管理,规划、开发和执行安全政策与措施,提供适当的身份以确认、授权、访问与审计等功能。
数据安全管理的目标是建立完善的体系化的安全策略措施,全方位进行安全管控,通过多种手段确保数据资产在“存、管、用”等各个环节中的安全,做到“事前可管、事中可控、事后可查”。
数据的安全治理应贯穿于数据的整个生命周期。
4.12.1 数据的生命周期
4.12.2 数据安全治理的技术手段
4.13 数据共享管理
数据共享管理主要是指开展数据共享和交换,实现数据内外部价值的一系列活动。
数据内部共享的关键步骤是打通企业内部各部门间的数据共享瓶颈,建立统一规范的数据标准与数据共享制度,数据外部流通和对外开放可以通过数据直接交易与提供数据分析信息的两种方式实现,将数据中符合共享开放层级的信息作为应用商品,以合规安全的形式完成共享交换或开放发布。
4.14 数据服务体系
数据服务作为数据中台实现资产服务化的核心能力,是连接前台业务和数据的桥梁,通过服务接口的方式对数据进行封装和开放,快速、灵活地满足上层应用的需求。
数据服务生命周期
4.15 数据运营体系
数据运营体系是让数据中台得以健康、持续运转和产生持续价值的体系。数据中台是个复杂工程,数据的汇聚、开发、管理、服务都是要持续进行的工作,如果没有运营体系的保障,可能会导致后期的参与者无从下手,随着时间的推移,数据的质量、服务的效率业务持续下降,进而导致中台无法使用。
4.15.1 数据运营分类
4.15.2 数据运营的目标
4.16 产品选择
确定中台架构后,进入产品选择阶段,数据中台主要包括以下产品。
4.16.1 数据中台产品
4.16.2 产品选择步骤
4.17 数据应用
-
运营大屏
-
BI分析
-
精准营销
-
个性化推荐
5.数据建设
-
数仓层建设
-
标签层建设
-
应用层建设
-
服务层建设
说明:详见数据仓库章节讲解
6.数据运营
-
监控审计
-
迭代优化
-
价值评估
-
资产排名