数据中台建设五步法

以下为《数据中台架构——企业数据化最佳实践》读书笔记

一、数据资源的盘点与规划
数据化的基础是信息化或者是信息化所产生的数据。
数据资源的盘点与规划需要达到以下目的：
（1）对现有数据资源盘点和统计。
（2）对企业可以拥有或者应该拥有的数据资源进行规划。
（3）构建盘点体系并使用必要工具，保证盘点的成果能够始终与真实情况相符。
我们可以按照数据资源的类别进行数据资源盘点。
数据资源盘点流程为：
（1）盘点应用系统数据库中的数据：进行企业应用系统统计；了解系统所使用的数据库；获取数据库的数据字典；如果没有数据字典，就进行数据探查，了解每个数据库表的含义；进行元数据记录。
（2）盘点文件服务器中的文件数据：统计文件服务器；了解文件内容和使用部门；从元数据视角进行数据资源统计。
（3）盘点中间件产生的日志数据：数据库日志；中间件、系统日志；其他日志。
（4）盘点数据服务中的数据，包括企业服务总线发布的数据、应用系统发布的数据、外部数据服务提供的数据。
（5）盘点网络和生产设备中的数据，包括流数据和IoT数据。
（6）盘点散落的数据：员工的工作电脑中的工作电子文档、电子版的合同等。
数据资源盘点后，可以形成元数据列表、分类和属性表（包括数据库中的元数据列表、分类和属性表；文件/文件夹中的元数据列表、分类和属性表）以及可以进行数据资源盘点统计，如整体情况统计、明细统计、数据属性内容覆盖度统计等。
数据资源盘点可以使用当前是市场较为流行的套装软件进行线上数据资源的盘点。
二、数据应用规划与设计
该步骤可以回答以下几个问题：
（1）企业中有哪些数据需求
（2）企业应该构建哪些数据应用
（3）应该按照什么顺序实现这些数据应用
三、数据资产建设
数据资产将是企业在全面数据化建设前期中投入最多、见效最慢的基础层模块。所有数据化建设最后都是以数据资产为基础，并且围绕这个基础展开。
数据资产建设的内容包括：
（1）技术建设。这项内容包括产品选型（如何选择数据中台产品、数据中台产品应该具备的功能以及技术参数指标）、技术架构设计（包括数据中台产品如何部署、如何替换传统的数据仓库或者与之并行、数据中台如何抽取当前的应用数据）。
（2）标准和数据仓库模型构建
包括两部分工作，一是建模及开发规范：制定数据仓库模型设计的规范、制定数据开发规范；二是数据建模：进行数据仓库模型构建，并提交评审。
（3）数据抽取、数据开发、任务监控与运维
数据开发包括进行数据任务开发，进行数据清洗、数据计算。
（4）数据质量校验
数据质量校验包括对当前发现的数据质量问题进行校验和处理，并推动数据治理工作开展和持续优化。
（5）数据应用支撑
包括为当前的数据应用开发提供支撑开发平台。
四、数据应用的详细设计与实现
数据应用的设计大体上可以遵循传统信息化应用设计的过程和理念，可以使用瀑布模型盒敏捷模型。数据应用的中数据开发一般在数据库或是数据仓库中完成。数据应用的内容展示可以采用BI分析工具展现，数据应用还可以通过API接口服务提供数据成果，让其他外部应用按需调用。
数据应用开发与传统信息化应用开发的不同：
（1）数据应用关注数据源的内容和质量
（2）复杂的数据开发需要不断调优和迭代。最终业务价值的产生是一个复杂的过程，不仅需要数据的支撑，还需要管理的配合。
（3）数据应用的结果数据的验证工作量占比高
（4）数据应用的运维难度大
（5）数据应用的成果需要运营
五、数据化组织规划
企业数据化应该是未来一个时期内具有企业战略高度的市区，数据化需要一个具有同等战略高度的组织负责推进。（说白了，就是一把手工程。）组织是保障数据中心顺利落地的一个核心，也是推动企业数据化进程的人员抓手。