DAP数据加工流程梳理-CSDN博客

本文链接：https://blog.csdn.net/aeaiesb/article/details/126050615

本文详细介绍了DAP数据分析平台的功能、数据架构、加工流程以及与ESB、MDM等产品的集成方案。通过梳理ODS数据同步、数仓数据同步和汇总事实表加工，展示了如何构建企业数据中台，提升数据分析能力与竞争力。

摘要由CSDN通过智能技术生成

DAP数据分析平台是数通畅联自主研发的一款专为企业大数据平台构建的，能够高效存储、计算、分析并处理海量数据的大数据分析产品，能够准确、清晰、有效的将企业内部及行业外部相关数据进行可视化展现，帮助企业提升行业洞察力，加强决策力，从而提升整体竞争力。

数据中台通常是按照主题进行数据分析，不同主题分析的数据各不相同，在分析过程中，需要明确数据的来源，通过获取到的数据将会从ODS到数仓—>数仓中维表和事实表加工汇总—>加工汇总后进行数据模型的创建—>数据模型生成数据集和立方体最终进行可视化展现。下面针对DAP数据的加工流程进行梳理。

1总体概述

DAP数据分析平台主要是为了满足企业数据分析的需要而开发的一款产品，不同于一般的BI平台，DAP数据分析平台更侧重数据的聚合，平台预置有数据源注册、ODS注册与管理、数仓配置与数据聚合，从而实现企业业务数据的统一，构建企业统一的、标准的、完整的数据仓库，而数据展现、数据分析、数据报表，以及外部系统数据交互提供支持。

1.1产品说明

数据分析平台是一款能够高效存储、计算、分析并处理海量数据的数据分析产品，能够真实、准确、清晰、有效的将企事业内部及行业外部相关数据进行可视化展现，帮助企事业提升行业洞察力、加强决策力，从而提升整体竞争力。

数据分析平台功能有：

1.数据来源（应用系统定义、数据源头配置、ODS数据定义）数仓模型。

2.数仓模型（业务主题、维度配置、事实配置、模型配置、指标管理）。

3.数据调度（规则校验、调度资源、调度任务、调度日志、质量日志、通知日志）。

4.分析模型（数据集配置、立方体配置、业务类报表、多维度分析）。

5.展现模型（导航管理、组件管理、展现主题、装饰管理）。

6.数据服务（接收服务、查询服务、统计服务、指标服务、业务服务）。

7.算法模型（算法配置、标签管理、算法日志）。

8.统计分析（数据地图、质量分析、血缘分析、影响分析）。

9.系统管理（组织管理、角色管理、人员管理、功能管理、编码类型、编码管理、系统日志）。

1.2数据架构

DAP数据分析平台只进行数据采集，不进行数据生产，所以DAP中的分析数据会从多个业务系统中抽取。

1.源头系统数据提供业务数据，ESB通过数据集成、业务系统接口调用，或者DAP通过读取源库等方式，将源头系统的业务数据抽取到ODS中，其中MDM主数据平台提供基础数据，业务系统提供业务数据；

2.ODS中的基础数据、业务数据，通过ESB的聚合流程将按照类别汇聚到数仓的维表或事实表中；

3.维表与事实表中的数据根据业务主题、业务指标需要再次进行加工汇总，形成数仓中的汇总事实表；

4.DAP的分析模型根据汇总数据进行整合计算；

5.经过分析模型整合计算后的数据，结合DAP预置的展现组件形成直观的图形图表展现，最终配置成各类展现看板、报表等，完成可视化效果的最终呈现。

1.3解决方案

DAP产品主要和ESB、MDM等产品结合形成不同的解决方案，包含方案如下：

1.应用数据集成方案 MDM + ESB + DAP + Portal

2.应用数据集成方案 MDM + ESB + DAP + IDM

3.数据中台方案 MDM + ESB + DAP （dPaaS方案）

4.全域集成方案 ESB + MDM + DAP + Portal + IDM （ePaaS方案）

2加工流程

DAP数据加工流程分为三步：ODS数据同步、数仓数据同步、汇总事实表加工。其中ODS数据同步包含了源库读取、接口同步、流程同步的三种数据获取方式，数仓数据同步包括ODS到维度表、ODS到基础事实表，最终数据通过维度表和基础事实表进行加工汇总。后续基于维表和事实表进行模型、数据集、立方体的创建。

2.1ODS数据同步

ODS的数据来源于不同的业务系统，通过数据分析模块可以将需要分析的业务数据以表的形式注册到ODS库中，ODS支持源库读取、接口同步、流程同步三种数据抽取方式。

ODS同步方式如下图所示：

2.2数仓数据同步

ODS中的数据分为两种，一种是作为支撑数据分析维度的数据；另一种为相关业务数据，通过维度类数据与业务类数据汇聚计算最终将作为企业数据分析的指标。

2.2.1ODS到维度表

下图是ODS数据同步维度表的过程：

2.2.2ODS到基础事实表

下图是ODS数据同步基础事实表的过程：

2.3汇总事实表加工

汇总事实表是根据基础事实表中的维度横向合并或者纵向汇总生成，基础事实表表中的维度通常包含组织维度、项目维度、日期维度等，汇总事实表汇总计算方式根据业务规则、分析指标、展现方式等进行制定，基于DAP数据分析平台元数据配置自动在ESB生成数据集成流程，实现数据聚合。

3ODS数据同步

ODS的数据来源于不同的业务系统，通过DAP平台可以将需要分析的业务数据以表的形式注册到ODS库中，ODS支持源库读取、接口同步、流程同步三种数据抽取方式。下面介绍ODS数据同步的同步方式、配置方式以及如何创建调度资源。

3.1同步方式

1.源库读取

DAP数据分析平台对于需要分析的业务数据不做数据生产，只会进行存储。所以DAP的数据都是从各个源头系统中抽取获得的。源头系统如果需要通过源库读取的方式提供数据，那么业务系统需要在数据中台中注册。通过这种方式注册的数据表在发生变更后，DAP会实时获取到变更信息。

2.接口同步

当DAP创建了ODS表后将同步方式设置为接口同步，那么在接收服务中生成对应的接口，接口地址如下：

将接口提供至业务系统后，业务系统发生数据变更调用提供的接口将数据写入到对应的ODS表中。

3.流程同步

由源头系统将业务信息表注册至DAP中，DAP通过注册的表信息进行参考表创建，ODS同步方式选择流程同步后，就可以选择调度资源或者生成ESB流程时，自动生成调度并且插入到对应表字段中。

业务系统也可以提供数据查询接口，DAP手动创建ODS表，通过ESB进行数据集成，但是源头系统提供的接口每次调用时需要提供新增或变更的数据，由ESB调用源头系统提供的接口获取变更数据写入ODS表中。

3.2配置方式

1.源库读取

如果选择源库读取的方式获取数据信息，在ODS数据定义页面选择源库读取。

选择源库读取后根据实际需求选择原系统的字段信息。

源库读取的表在源头系统发生数据变更后会实时同步至DAP中。

2.接口同步

如果通过接口同步需要通过参考表创建，并选择接口推送的方式创建数据表。

选择对应的源头表及需要字段后保存。

双击查看ODS表，同步方式为接口推送。

在接收服务中会生成对应的数据写入接口。

3.流程同步

通过参考表创建选择类型为流程同步，通过ESB生成对应的调度流程。

3.3资源调度

在ESB中新建流程，选择流程模板为业务系统到ODS：

点击next后，可以选择刚刚创建好的同步流程：

创建完毕保存后，会生成对应的同步流程：

创建完毕后，会在调度资源中自动生成对应的流程：

4数仓数据同步

DAP通常是按照主题进行数据分析，而在数据分析平台上线过程中，可能会遇到企业上线的业务系统已经具有部分的数据分析功能，这个时候如果需要进行统合的数据分析可以直接进行数据抽取，而更多情况是企业并没有对应的数据分析功能，甚至还停留在线下的报表填写，而这个时候针对于填写的报表和指标需要去划分哪些是标准的维度数据、哪些是可以分析的业务数据。在梳理好后数据同步至ODS中，针对划分和区分同步至对应的维表或事实表中。