数据中台产品经理-读书笔记2

数据中台的建设与规划

一、数据中台的产品定位

1、采，采集接入

       数据中台需要一套标准执行的数据采集方案来确定哪些数据是可以实时采集，哪些数据是需要离线采集，以及数据拉取频率是多少。

2、存，加工存储

       数据中台要对数据进行整合与完善，打造出具备业务意义的企业级全域数据体系，然后输出到大数据平台进行存储。

3、管，统一管理

       要求企业具备一套可执行的数据资产管理制度（元数据管理）。

4、用，数据服务

       能否对外提供有效服务，是数据中台成熟度的衡量标准。数据共享是最直接的数据服务方式，还包括按照数据模型对数据进行服务封装、打造智能的数据可视化系统与运营系统。

二、数据中台的系统与服务

1、大数据平台

       具备与大数据平台相关的开发能力，提供数据存储、数据清洗/计算、数据查询展示及权限管理等功能。组件包含了数据采集组件、数据存储组件、数据计算引擎、数据权限与安全组件，以及集群管理与监控组件等。

2、数据资产管理平台

2.1 元数据管理

       元数据管理包括对元数据增删与编辑管理、版本管理、元数据统计分析与元模型管理。

• 业务元数据：描述数据的业务含义、业务规则等，包括业务规则、数据字典以及安全标准等多项内容。通过明确业务元数据，让人们产生统一的数据认知，消除数据歧义，让不懂数据库的业务方读懂数据表的内容。
• 技术元数据：描述数据源信息、数据流转信息及数据结构化信息，主要服务于数据开发人员，让开发人员明晰数据表结构与所依赖的上下游任务，主要包括表字段（存储位置、数据库表、字段长度和类型）、数据模型、ETL脚本与SQL脚本等。
• 管理元数据：描述数据的管理归属信息，包括业务归属、系统归属、运维归属以及数据权限归属等信息，是数据安全管理的基础。

2.2 数据模型管理

• 数据模型是数据整合的有效手段，它完成了各数据源之间的映射关系设计，为数据主题建设提供了“实施图纸”。
• 数据模型管理，是指在数据建模过程中，通过既定的数据模型管理制度，实现对数据模型增、删、改、查的管理，同时遵守数据标准化与数据统一化的要求，确保数据质量。

3、数据服务平台

3.1 自助分析平台

       BI平台应具备如下能力：

• 数据接入：接入方式包括文件型、数据连接型、API读取。
• 数据处理：为用户提供建模工具，帮助用户创建目标数据，功能包括拖拽表字段、自动识别维度/指标、自定义视图。
• 数据分析与可视化：为用户提供丰富的图表制作和联机分析处理操作，让用户在前端页面完成数据分析与数据可视化。
• 内容分发与基础服务：具备分发可视化内容，并进行查看权限与数据权限控制的能力。

3.2 标签管理系统

       标签数据其可信度与有效性成了衡量用户画像成熟度的关键指标，标签系统具备以下功能：

• 用户唯一性识别：将各业务线的独立用户标识进行关联和统一，从而打通面向整个企业的独立用户识别和标签交互转换方案。
• 标签体系管理：制订标签数据和信息交互方案，提供标签接入、可视化标签信息展现、可视化标签权限控制、可视化用户标签分析、可视化人群定向提取与可视化相似人群扩展等功能。
• 标签数据服务：提供用户画像研发和应用过程中设计的标签提取与查询等服务，以标准服务接口（API）方式将相关解决方案提供给各业务方。

三、数据中台的建设思路

• 一个方向：利用数据中台融通企业数据资产，确保业务发展的方向不动摇。
• 两条腿走路：数据体系建设与数据平台建设同步进行，提高数据中台建设的能见度。
• 三步走向成功：从数据治理到数据服务，再到数据智能服务，分三步完成数据中台建设。