数据中台交付标准化参考框架

导读：

数据中台是业务与技术的结合点，其基于产品化的运营思路，跑通数据流转之后，服务于业务前台，企业基于对数据的洞察优化业务方向，并通过反馈回来的业务数据再次输入数据中台，持续提升中台使用价值，实现数据和业务不断的正向循环和相互促进。数据中台需要不断的打磨、开发和持续运营，在不断实践的过程中企业也会建立起走出经验主义、走入数据管理的核心逻辑。

“不以规矩，不能成方圆”，基于对数据中台交付技术服务的挑战分析和解决思路，阿里云提出了“1+3+3+1“的交付标准参考框架，如图3所示。1个目标，即以业务价值为导向，实现数据中台技术服务的标准化、在线化、规模化交付；3个内容，即数据中台技术服务包含数据咨询规划服务、数据资产建设服务、数据应用建设服务；3个能力支撑，即交付标准流程、交付文档集、交付工具集；1个平台，即数字化工作台，数据中台技术服务团队和政企客户通过数字化工作台完成数据中台项目交付。

交付流程、交付文档集、交付工具集是三位一体的能力支撑体系。基于交付流程动作及产出，沉淀交付技术资产，包含交付物、过程产出物、项目评审意见、阶段性汇报总结等文档；通过对多个项目文档的提炼抽象脱敏等手段，形成通用解决方案和行业解决方案；结合数据资产目录划分方法，进行文档集的资产目录构建，一方面做内部参考借鉴，另一方面为交付工具打造提供输入；交付工具集，基于通用解决方案和基础产品开放能力，围绕具体交付实施场景而构建，能有效降低数据中台交付门槛，为交付动作执行提供武器弹药支持，同时倒逼交付文档集的不断迭代更新。交付技术服务团队包含业务架构师、技术架构师、数据产品经理及实施人员等，与政企客户服务对象一起，基于数字化工作台进行数据中台项目在线化交付。下面小节将对交付流程、交付文档集、交付工具集、交付技术服务团队和数字化工作台分别进行介绍说明。

交付流程动作

流程是做事的规范和顺序，是提升工作效率的重要保障。结合客户项目全生命周期及交付团队参与度，将数据中台交付分为交付前、交付中和交付后三个阶段和六个流程，如图4所示。其中，交付前阶段包括交付前置，交付中阶段包含需求调研、方案设计、开发实施、试运行，交付后阶段包含上线维保。通过标准化的交付流程，针对不同的客户及需求，提供数据咨询规划服务、数据资产建设服务、数据应用建设服务等差异化服务。

交付文档集

易用、易懂、易找的技术文档资料对降低成本、构筑交付生态体系、培训赋能、打造行业影响力，以及提升交付专业度和企业竞争力都有重要的价值。在交付技术服务的各个阶段，随着交付任务阶段性完成，技术资产也随之在数字化工作台上逐步沉淀下来，经过脱敏提炼抽象等，按照通用数据资源目录划分方法，结合文档打标签等，进而构建起交付技术知识库，形成标准化的数据中台交付文档集，为高质量完成各项交付任务提供文档支撑，数据中台交付各环节的交付文档如图5所示。

交付工具集

“工欲善其事，必先利其器”，工匠在做工前打磨好工具，操作起来就能得心应手，达到事半功倍的效果。交付工具一方面辅助提升交付效率，另一方面降低数据中台交付门槛，让生态伙伴使用工具也能做交付。基于数据中台交付的各个阶段的交付质量要求，抽象交付文档中的共性内容，采用产品化思维进行更高维度的标准化构建，形成标准化的数据中台交付工具集，如数据盘点工具、数据集成工具、数据校验工具、代码扫描工具等。交付工具集支撑交付流程高效率高质量完成，同时有效降低数据中台生态交付门槛，为规模化技术服务提供强大的自动化技术手段。数据中台交付各环节的交付工具如图6所示，工具能力说明如下。

1）数据盘点工具

数据盘点工具对需要纳入到数据中台的数据进行盘点、分类，结合业务过程梳理，为 数据架构设计及数据建模提供输入；可支持 MySQL、Oracle、DB2、SqlServer、 HANA、MongoDB、PostgreSQL 等数据库，支持插件式扩展；配置数据源后，可 进行一键盘点，输出资源目录表级数据字典，并提供智能数据采集建议。

2）数据集成工具

数据集成工具基于基础产品开放API能力，进行二次封装，融入个性化功能和体验需求，提供面向批量数据采集场景、使用便捷的工具；提供可视化数据采集规则配置，如表命名规范、任务命名规范等，与数据盘点提供的智能数据采集建议无缝结合，自动化获取数据采集计划清单，按照采集规则自动补齐数据集成信息，减少人工成本。

3）数据探查工具

数据探查工具基于业务需求分析和数据应用设计，通过对数据及其质量进行初步探查，确保需求可落地性及实施效果；基于质量探查需求和自定义业务规则，进行数据核查和验证，判断数据质量与业务需求匹配度；可基于默认规则或自定义规则进行数据探查，输出数据探查报告和数据质量报告。

4）数据建模工具

数据建模工具基于行业级数据标准及标准数据模型进行标准化规范可视化的数据模型构建工作，提升数据模型设计的质量和效率；可将数据库元数据、DDL、数据模型文档等多种方式导入逆向建模从而快速引入建模素材，并且支持数据模型的DDL，文档方式导出及数据平台对接直接转化成业务系统物理模型生产力，保证了设计开发的一致性，提升数据类项目交付质量和效率。

5）数据校验工具

数据校验工具对数仓ODS层数据与源数据一致性需求、ADS层宽表指标准确性需求等，通过数据量校验、指标校验等方式确保数据在采集、设计、建模、开发过程一致，保障数据与指标一致性和准确性。

6）数据回刷工具

数据回刷工具由于数据模型设计方法的差异性，上游业务系统数据结构调整或数据口径变更时，需对数据表的历史分区数据进行回刷；ODS层回刷支持笛卡尔积、动态分区等方式，CDM层与ADS层支持多周期合并、行列级回刷等方式。

7）代码扫描工具

代码扫描工具基于代码质量规则，对定制化开发的代码质量进行检查，发现代码编写不规范、效率低等质量问题，提升代码检查效率并提供优化建议；支持全量代码扫描、单条SQL调试、按任务编号扫描和按代码空间扫描等。

基于上述的系列交付工具，交付过程变得更清晰和简单，交付前、交付中、交付后的流程和配套工具的衔接更合理和顺畅。

交付服务团队

一个好的工程项目必须有一套完整的组织保障机制。数据中台以业务价值为导向，其交付专业要求高、过程管控复杂、交付生态协同难，要高质量建设数据中台，除了交付流程、交付文档集、交付工具集之外，也需要强有力的组织保障，确保角色完整、分工明确、衔接顺畅、各司其职、各尽其责。

站在数据中台建设全生命周期视角，除了客户和生态伙伴之外，数据中台企业服务角色构成主要包括SA、CBM、PMO、CSM、BA、TM、PD、QA和TAM，项目不同阶段由不同的团队来负责，每个角色在各个不同阶段及流程中承担的职责如图7所示，RACI责任分配矩阵如表1所示。

其中，SA解决方案架构师负责售前客户需求调研与方案设计，CBM客户经理负责对售前商务风险等进行识别判断，PMO负责对项目可交付性进行评审，CSM对项目启动规划及最终项目验收负责，BA对业务需求及业务架构设计负责，TM对数据和技术架构及其落地方案负责，PD对数据应用及数据产品设计负责，QA对测试方案及落地负责，TAM对售后运维负责，各角色在CSM、BA、TM的统筹下进行协作，共同对项目交付负责。

数据中台建设需要多个团队和角色协作完成，涉及交付前阶段、交付中阶段、交付后阶段，每个交付阶段涉及客户、阿里云、生态伙伴等，要确保不同的角色之间分工明确、各司其职、衔接顺畅，就需要明确不同的角色职责边界和衔接关系，这也是交付过程管理中的重要质量把控原则。

数字化工作台

数字化转型过程中的大型项目，开发团队动辄数十人至几百人，来自各个不同的组织。沟通不畅、信息分散、严重依赖个人能力的情况时有发生，就好像盲人摸象，项目的透明度低下，严重阻碍项目走向成功。过去的项目管理以及协同的方式已经不再适合今天大型全要素的数字化转型的过程，急需要全新的数字化转型交付和服务的方法论以及与之配套的工具和平台。2021年10月19日，飞天技术服务平台-数字化工作台在杭州云栖大会上正式亮相，整体提出了组织在线、成员在线、业务在线及项目在线的全量在线的企业服务模式，首次透明企业服务的全过程，为不同角色提供社会化的协作、数据化的管理、智能化的管理能力，实现项目在线、精益管理、优秀履约的目标。客户、数据中台技术服务服务团队在一体化的数字化工作台上完成服务履约；客户随时可查看了解项目过程，同时会基于在线IM工具完成服务及沟通互动；伙伴从人、财、事、物四个方面全面与阿里巴巴协同，共同为客户提供高质量的云创新数字服务。

数字化工作台功能结构示意图，如图8所示。管理层基于云原生架构设计、云原生的产品与技术实现，提供基础的账号管理、权限管理、产品管理等能力。应用层为技术服务团队提供待办消息、服务日历、交付流程管理、交付工具管理和交付文档管理等线上操作，为政企客户提供待办消息、企业信息、人员管理、项目管理和结算管理等线上操作。其中，标准中心为标准交付流程与动作、交付方案、交付过程产出等提供能力支撑；工具中心为交付工具提供上架、下架、与交付动作关联等提供能力支撑；文档中心承接标准中心的过程产出文档，并提供文档打标、查看、搜索、下载等能力。数据层，基于应用层产生的数据进行数据资产构建与管理，进行人员、项目、资产、客户、生态等主题库建设，为交付标准化率、交付方案复用率、项目质量优良率、交付自动率等标准化指标提供数据支撑。业务层，提供风险预警、知识搜索、人员画像、客户洞察等应用。数字化工作台为标准化的数据中台交付流程、交付文档和交付工具提供长效平稳运转和持续迭代演进提供全方位的支持和保障。

互联互通社区

互联互通社区-IT智库，是互联互通社区IT架构、前沿技术平台。包含科技趋势、总体架构、产业架构、技术架构、系统架构、业务架构等内容，内容简练，皆属干货，合作请+微信：hulianhutongshequ.