数据中台实施方法论总结

1.数据中台实施方法论

按照标准化流程进行项目交付，各交付阶段以及内容说明如下：

序号	阶段	内容	说明
1	需求调研	业务调研	1.项目需求说明书/业务需求调研报告 2.业务方及项目组评审正式通过
2		系统调研和技术调研	1.整体网络架构 2.整体应用架构 3.整体技术架构 4.系统关键数据流向调研 5.账号体系调研和设计
3		数据调研	1.ER图 2.数据字典 3.数据质量盘点和上云盘点 4.数据/技术调研报告
4	业务蓝图规划	业务规划	1.MRD/PRD设计和确认（含功能、流程、UI） 2.业务蓝图规划确认及汇报
5		系统建设规划	1.系统集成需求调研+系统集成方案、计划 2.设计和确认系统部署方案
6		数据建设规划	1.制定系统架构设计、数据上云、模型设计、标签体系设计计划 2.制定开发和测试计划
7	方案设计	基础架构设计	1.整体逻辑架构设计 2.技术架构与资源规划 3.数据流设计 4.安全管理方案
8		数据上云和清洗方案	1.数据上云规范 2.数据上云实施方案 3.数据清洗方案
9		数据模型设计	1.数据开发标准规范 2.数据模型设计规范 3.数据模型设计文档 4.数据指标规范定义文档
10		标签体系设计	标签体系设计文档
11		可视化方案设计	1.驾驶舱原型设计与确认 2.PC和移动端的看板设计
12	开发	环境准备	产品部署与验收测试
13		数据上云和清洗	1.任务开发 2.数据开发
14		数据模型开发	1.物理模型实施 2.数据任务开发
15		数据可视化开发	1.报表页面开发 2.UI设计美化
16		指标/标签体系开发	指标/标签开发
17	测试	测试准备	1.测试方案设计 2.测试计划 3.测试用例
18		功能测试	1.数据质量测试 2.模块功能测试
19		集成测试	1.系统联调测试 2.系统性能测试
20		测试报告	系统测试报告
21	验收	试运行	1.数据回刷 2.试运行报告 3.系统切换上线试点开通
22		系统上线	1.上线方案和应急预案汇报 2.上线单位运行支持服务 3.项目终验
23		上线推广	1.推广支持服务 2.关键用户培训
24		项目运维	1.遗留问题解决 2.问题反馈机制

（1）业务调研

a.组织调研

调研业务组织架构以及组织和组织间关系，有助于我们理解业务的同时，制定相关维度。

b.系统调研

快速理解客户的业务管理流程，是业务梳理的重要环节，为数据资产化和数据开发提供基础。

c.业务调研

针对客户的业务流程、核心KPI、业务诉求等展开详细调研，明确中台赋能点及整体建设蓝图。业务调研一般分为四个步骤：制定调研计划、进行调研访谈、完成调研内容输出、输出业务蓝图并确认。

业务蓝图框架如下：

模块	内容	细项
会员洞察	会员洞察分析	会员生命周期分析
		会员流失分析
		会员特征分析
		全域会员AIPL分析
		会员的价值分析
	会员标签体系	基础标签
		会员属性及权益标签
		商品偏好标签
		淘系会员数据标签
营销洞察分析	营销活动	营销分析矩阵
		营销会员分析
		营销渠道分析
		LBS洞察
		营销活动效果分析
		营销费用分析
		营销受众分析
		多渠道交叉唤醒
		营销活动投资回报分析
		营销活动对比分析
		全域会员洞察
商品洞察及商品运营	商品洞察分析	全域商品市场定位分析
		全域商品销售分析
		竞品分析
		全域商品生命周期分析
		全域商品结构分析
		全域新品上市分析
		全域商品偏好分析
	商品运营分析	门店属性标签
		门店商品加辅建议
		商品销售预测
		门店与消费者分析
		门店商品补货建议
		商品整合建议
		门店首订铺货建议
		商品调货建议
		库存维度模型
全域营销	全域营销	受众分析
		受众管理
		对接品牌数据银行
	全域分析	店铺总览分析
		店铺来源分析
		品牌总览
		店铺类目分析
		店铺商品分析
		粉丝来源分析
门店洞察	门店洞察分析	门店商品标签
		门店客群标签
		门店业绩标签
		门店业绩诊断

（2）数据上云

第三方数据同步上云。

（3）规范建模

设定数据建模规范，设计总线矩阵，搭建数据模型，定义指标规范、定义维度。

（4）数据开发

基于OneModel规范下数据研发标准流程，从业务定义、数据建模、最终实现数据落地；根据业务需求变化、业务过程的变化迭代优化。

2.数据中台项目案例

（1）通信设备集团数据中台项目交付

• 公司简介：某通信设备制造集团是全球领先的多品类智能通讯终端研发设计公司（智能通讯终端ODM），产品涵盖智能手机、平板电脑、笔记本电脑及IoT产品。
• 核心诉求：建设华勤运营数据平台底座，围绕营销、计划和财务场景，实现指标规范化，辅助决策层、管理层、执行层进行数据分析和决策。通过OTC数据模型，打通商务、计划、采购、仓储、生产、物流和结算主题全流程数据预警分析体系。
• 交付内容：
  • 建设一套OTC节点指标体系，拉通商务、计划、采购、仓储、生产、物流和结算7大领域，37个0TC流程节点，初步构建大运营领域的结果指标体系，形成决策层分析框架；
  • 建设一套数据资产管理体系，以数据中台理念为基础的大数据方法论为核心，盘点数据资产，搭建数据框架、数据规范和数据开发体系，以大运营领域为实践，形成企业数据资产管理体系；
  • 建设一套OTC数据应用门户，包括PC端OTC数据门户和大屏端OTC门户，解决按客户、按项目、按订单、按成品、按工单的跟踪以及综合的可视化展现。

（2）某汽车集团利用实时计算支撑构建实时决策工作台，提升业务决策能力

• 公司简介：某汽车集团股份有限公司乘用车公司，承担着集团自主品牌汽车的研发、制造与销售。 从诞生之日起，乘用车公司就依托集团20多年合资合作所积累的技术、制造、采购、营销和管理优势，以国际化的视野，创造性地集成全球优势资源，以高品质的产品与服务，满足消费者高品位需求，以优秀的国际合作团队，打造中国人自己拥有的国际汽车领导品牌。
• 核心诉求：为了让数据更好地服务于公司业务决策，公司数据及信息系统部开始构建实时决策工作台。平台基于完整的实时场景和OneData体系实现，提供一站式流批一体化服务，是一套能让业务用户轻代码、易开发的企业级协作工作台。
• 交付内容：
  • 赋能产销协同一体化工作重点，聚焦意向订单管理，提供车辆交付节点实时查询服务。
  • 赋能配置管理全通路业务，促成规划-工程-营销-制造等各版块配置信息的一致性。提高配置发布的工作效率、质量和用户体验，并为现有开发决策流程机制提供数据支撑。
  • 支持生产制造场景复现，业务场景的实时模拟及计算复盘，及时调整排产计划，节约物料及人工成本。
  • 数据资源与计算资源的统一管理，可实时监控任务执行及资源使用情况，高效使用硬件资源。
  • 提供业务用户可视化拖拉拽任务配置界面，实现低代码轻量开发，实现快速业务逻辑验证。

（3）农夫山泉 | 数据中台加强平台能力建设，实现数据对业务强大支撑

• 核心诉求：随着养生堂集团（农夫山泉）各业态的持续快速发展，对数据提出了更高的要求。如何进一步提升数据管控及服务能力，并为集团数字化营销、精细化运营提供有效数据支撑成为当务之急。客户基于对现有数据现状及痛点进行了全面梳理分析及多方探讨调研后。考虑到自研开发投入大、周期长、见效慢，在借鉴业界成功的数据项目经验基础上，启动大数据平台项目，通过奇点云成熟的数据中台解决方案，夯实数据平台基础，重点关注数据价值，为集团各业务分析决策、智能运营提供有效的数据支持。
• 交付内容
  • 支持3秒内亿级数据自主分析，2秒内百万级数据高并发，秒级实时计算
  • 大数据能力基础建设
    • 提升数据处理性能，缩短T+1报表计算时间，减少因处理延时造成的报表不可用。
    • 实时流式数据处理，满足业务对指标及报表的实时(分钟级、秒级)需求。
    • 提升数据查询性能，满足百万级明细数据大区查询下载的性能要求。
    • 建立企业数据门户，集成BI工具。
    • 统一数据使用入口，解决数据查看入口过多困扰，并满足多业务场景灵活多变的自助分析需求。
  • 企业级数据中台提升数据可信度、安全性
    • 建立企业数据标准及规范，完善数据处理流程及保障体系。
    • 建立和完善行销、零售指标体系，统一指标的数据统计口径，提升数据信任度。
    • 建立数仓安全规范，制定数据分级及敏感数据使用制度，监控数据异常使用行为并及时预警和干预，避免敏感数据泄漏。
  • 数据共享中心，形成数据对业务场景赋能的平台能力
    • 基于集团模式下的数据共享中心规范制定。
    • 初步在消费者域、供应链域、产品域等方面形成数据支撑业务数据智能化能力。