1. 企业大数据开发流程

1. 数据建设流程

即当我们接到一个新的需求后（需求文档），我们应该怎么做。

新的需求一般由 PD（Product Designer）产品设计师、数据分析师、BI（Business Intelligence）商业智能 等人提出，绝大部分由PD提出。

1.1 业务需求（占40%）

• 需求沟通：与业务方进行需求细节沟通；

• 需求类型：数据分析（看板、报表）、用户标签、数据服务、数据应用；

• 参与人员：业务方、技术、数据开发

这里需要与业务方多轮沟通，明确需求细节、数据交付形式、期望交付节点。

1.2 需求调研

对现有数据进行梳理，梳理出现有数据的详细情况以及需要补充的数据情况。

• 参与人员：数据开发
• 输出文档：需求调研报告（现有数据情况调研、现有需求情况调研）

现有数据情况 vs 期望情况

现有需求情况 vs 期望情况

1.3 概要设计

• 针对现有业务划分数据域
• 定义维度、数据总线矩阵
• 定义业务过程、原子指标、派生指标、统一相关概念：名词解释、英文缩写等
• 参与人员：数据开发、数据产品、BI

1.4 详细设计

将概要设计落实到具体etl表设计：ods层表设计、cdm层表设计，相关上下游依赖

• 参与人员：数据开发团队

1.5 数据开发（占20%）

• 相关设计表的创建
• 数据采集、ETL开发、UDF开发
• 数据结果验证，输出验证数据报告
• 产出监控（DQC，基线保证）

1.6 数据交付

• 交付测试数据给到业务验证

• 验收通过后编写使用文档说明（计算口径、有效数据日期等）

• 联合业务进行数据看板的宣贯

学习链接

企业大数据开发流程