数据中台“集存通用治”功能场景说明_将相关采集数据按数据规范进行数据写入并汇聚至数据中台-CSDN博客

本文链接：https://blog.csdn.net/aeaiesb/article/details/126133996

科技飞速发展的时代，企业信息化建设会越来越完善，越来越体系化，当今数据时代背景下更加强调、重视数据的价值，以数据说话，通过数据为企业提升渠道转化率、改善企业产品、实现精准运营，为企业打造自助模式的数据分析成果，以数据驱动决策。

数据中台把将数据统一之后，会形成标准数据，再进行存储，形成大数据资产层，进而为客户提供高效服务。支持海量数据的存储、计算、产品化包装过程，为前台基于数据的定制化创新及为业务中台基于数据反馈的持续演进提供强大支撑。数据中台可以解决数据孤岛、数据资产流失、数据服务能力不足、数据价值低的问题，最终使数据能够赋能业务场景、产生业务价值。

1整体介绍

数据中台分了三个模块：数据分析平台（DAP）、主数据治理平台（MDM）、数据集成平台（ESB），数据中台部署环境采用K8S云平台部署，MDM实现基础数据管理，业务数据由源头业务系统提供，通过ESB的数据集成，实现基础数据、业务数据从源头系统到数仓的同步。

1.1产品方案

数据中台是基于公司的三款核心产品DAP、MDM和ESB组成的解决方案，主要实现基于数据治理分析的中台建设，通过MDM将企业内部的基础数据标准化、规范化、整合化后，由DAP进行数仓建设以及最终数据分析的可视化展现，ESB通过数据集成完成整个数据中台的主数据分发和数仓的数据汇聚。

1.2集成架构

介绍一下DAP的数据中台方案集成框架：

数据中台方案方案主要的产品组合是DAP数据分析平台通过与ESB应用集成平台结合使用场景主要是通过配置调度任务，通过执行调度任务调用ESB数据同步流程，实现数据的采集、抽取、转换、传输、调度等操作，基础数据为DAP提供同源并标准的、一致的数据保障数据分析分析数据的准确性，然后通过Portal门户集成平台展现给客户。

1.3方案介绍

数据中台主要实现各个业务系统数据的有效整合，数据中台把数据统一之后，会形成标准数据，再进行存储，形成数据资产层，进而为客户提供高效服务，支持数据的存储、计算、产品化包装过程，为前台基于数据的定制化创新及为业务中台基于数据反馈的持续演进提供强大支撑，改善企业内部数据和应用程序之间的连接和协同，降低成本并提高使用速度，实现企业业务集成和数据集成，让集成更敏捷、让客户使用更便捷。本文将从数据中台的“集”、“存”、“通”、“用”、“治”用途的角度深剖析中台。

2整体介绍

通过数据中台的“集”、“存”、“通”、“用”、“治”打通企业的数据环节，实现全生命周期的数据管理，通过数据中台建设数据管理体系，实现各个业务系统数据的有效整合，通过基础数据治理保证底层基础数据的一致性，基于业务指标进行前端的动态展现，结合数据指标的多维度穿透，实现不同形式、不同维度的分析展现。

2.1数据采集

数据采集主要根据需要分析的主题对应收集相关的数据，为数据分析提供依据，数据分析的数据来源于公司内部的其他系统数据，根据不同的数据来源需要ESB企业服务总线或者直接调用DAP接口的等手段，保证分析数据的可用性、全面性。

2.2数据存储

数据存储部分是通过在各个业务系统采集的数据建立数据仓库，在数据分析与决策支持等方面为用户或机器学习提供服务，将采集及处理后生成的数据集持久化到计算机中，从而提升数据的价值，帮助企业进行决策分析。

2.3数据互通

信息化系统的集成正逐步实现更为广泛的连接，万物互联将是未来集成整合的发展趋势。企业内部各个系统间进行集成，对数据进行治理，实现数据的同步和分发，实现信息共享，同时实现企业内部的集成，打通业务边界，实现生态化。

2.4数据应用

最终将有价值的数据以可视化的形式进行展现，能够有效帮助企业清晰地分析优劣势，从而调整企业策略，加快企业的信息化发展与整体竞争力，并可以通过数据服务来对外发布加强对数据可利用性，保证数据应用方可以得到准确完整的数据。

2.5数据治理

如何帮助数据准确、完整，这就需要对数据进行数据治理，通过数据中台治理企业数据，梳理业务流程，可以打破数据孤岛，为企业发展提供战略支撑，为后续信息化建设奠定数据基。

3数据采集

上述所说数据采集是整合各个业务系统数据，而业务系统数据源越来越多、越来越复杂，除了传统的应用系统以外，互联网的兴起形成了更为广泛的外部渠道，面对如此复杂的数据源，如何有条理地对数据进行选择、采集是接下来所要讲解的。

3.1功能说明

数据采集是数据采集的步骤，把业务系统的数据采集到数据中台中，数据分为业务数据和基础数据，基础数据是采用MDM基础数据管理平台进行数据采集同步到平台中进行数据管理，业务数据是通过DAP选择业务系统不同的数据表，采集到ODS中间库中进行定义和筛选，采集过程都是通过ESB应用集成平台实现现异构、分布式系统之间互联互通。

3.2 功能价值

在数据中台收集数据的过程中通过ESB预置的各种适配器组件，连接现有各孤立应用系统，以图形化、拖拽方式构建集成流程和服务，提高应用系统集成工作效率，降低异构系统集成风险。针对未来可能出现的业务需求变更，在应用集成平台上进行动态调整，实现各应用系统之间的集成策略平滑升级。

3.3功能展示

1.基础数据采集过程

首先数据建模配置主数据的来源系统：

每个数据预制同步接口：

首先要调用同步临时表接口，先同步到临时表：

数据导入功能：

点击同步按钮同步到真实表中或者调用同步真实表接口：

接口API说明：

主数据采集到数据管理中：

2.业务数据采集过程：

业务数据采集过程是从业务系统到ODS的过程，首先定义应用系统：

然后定义数据库：

进行ODS定义：ODS来源方式分为源库读取（一般是MDM基础数据平台的主数据表）、流程同步、接口推送。

1.源库读取：把业务系统变成从库，直接会通过业务系统同步到数仓中。

2.接口同步：接口同步是业务系统调用此接口进行数据同步。

3.流程同步：流程同步是与ESB结合生成调度流程进行数据同步。

ODS流程同步分为时间戳和字段对比。

下图是字段对比：配置比较字段：

还可以配置通过时间戳查询：需要配置时间戳字段。

下面是选择对应信息，通过集成接口生成对应的流程。

点击flash后，会生成调度资源：

通过调度任务点击执行，会调用此流程，然后就会把数据同步到ODS中：

集成结果：

4数据存储

数据收集后要更好地为企业所用，就必须在数据中台中进行数据存储，从而进行数据的的应用，只有加强这方面的重视，才能更好地将数据变成资产。

4.1功能说明

数据存储也是分为基础数据存储和业务数据存储，基础数据存储就是上述通过主数据同步接口同步到MDM产品中进行管理，业务数据存储是通过ODS采集后，进行数仓的建设，通过ODS转换到数仓步骤来建立维度表、事实表、汇总事实表，在创建数仓模型。

4.2功能价值

数据和数据之间天然存在着显性和隐性的关系，数据的极致魅力在于通过这些关系的识别和挖掘，创造前所未有的应用场景，带来预想不到的巨大价值。而要实现这一切，首先需要将数据进行物理层面的汇聚，让有价值的信息自动、快速地整合到统一的存储空间，为后续的数据开发、数据分析打好坚实的基础。

4.3功能展示

1.基础数据存储

主数据管理：

参考数据管理：

类别列表：

编码列表：

业务数据存储：

通过ESB把ODS数据存储到数仓中的维度表、基础事实表、汇总事实表：

下面是维度表配置，维度表的来源表就是ODS表因此点击选择表会进入相应的ODS表选择页面，选中相应的ODS表后，便可回写到前端页面上，如下：

之后填完对应的数据后，这里为了限制维表必须选择来源表添加对应限制，当选择来源表后点击保存，为了更加的人性化我们直接弹窗提示是否为已经选择的表添加相应的关联关系，如下：

选择ok进入点击页面，下面我们就可以为两表的字段设置相应的关联关系，之后，点击确定录入相应的关联关系。并且首页的状态调整为编辑样式，如下：

我们可以在编辑状态下的明细页面找到我们配置的关联关系。如下：

因为我们在明细页面选择了来源表，因此在字段信息页面的倒入字段功能中，仅可以在你选择的来源表中倒入字段，具体样式如下：

这里表名的下拉选中只有我们上文中选中的表名称，如下：

选中后便会出现该表中的相应字段，在选择后再次进入后已选择的字段将不会再次选择，同时在字段信息页面中存在删除功能，当我们删除了通过导入字段功能导入的字段，该字段便会复原在原来的表格中，如下：

下面是基础事实表配置过程事实表会根据不同的类型进行选择相应的来源表，首先选择基础事实表，基础事表来源可以是维表、ODS，如下：

配置映射字段和来源字段：

存储效果：

5数据互通

企业内部各个系统间进行集成，对数据进行治理，实现数据的同步和分发，实现信息共享。同时企业内部与外部、线上与线下的集成，能够打通业务边界，实现生态化。

5.1功能说明

通过主数据管理进行企业内部统一数据标准，为主数据标准化提供一个统一的集中式管理平台，为所有信息交互和数据交换集成提供统一的编码数据。在主数据治理的过程中，企业服务总线作为辅助工具，完成数据的同步与分发。

5.2功能价值

随着互联网的发展，企业所要求的业务连通不仅局限于传统形式下的内部之间的业务集成整合。业务之间的联动是企业各层级统一存在的需求，只有从最基础的数据开始，打好底层基础，之后到系统之间的信息功能整合，屏蔽边界，最后实现整体业务流程的联动，才能避免信息孤岛的产生，真正实现企业内部信息的互联互通。

5.3功能展示

基础数据数据分发：

基础数据分发首页通过应用配置分发主数据和字段：

配置分发字段：

通过配置分发权限，配置主数据分组能够分发那些业务系统。

调用分发API接口调用统一分发：

通过BPM流程打通各个业务系统：

6数据应用

数据中台建设是一个综合性的系统工程，数据中台的本质是支撑快速孵化数据应用，用技术连接数据计算储存能力，用业务连接数据应用场景能力的平台。

6.1功能说明

通过多维分析技术实现多维度、多角度、全方位的实时在线分析，包括数据的行列转置、钻取联动、层层穿透等多种分析样式，帮助管理者全局性掌握公司运营现状，数据展现部分提供多样化、丰富化的展现方式，包括但不限于饼图、柱状图、折线图、气泡图、面积图、省份地图、词云、瀑布图、漏斗图等酷炫图表。

数据应用另一种数据服务，数据中台集成业务系统数据，一般情况展现层的数据不是本身系统的数据，是不可能再去业务系统抽取，那样的抽取的性能会变差，因为业务系统数据已经到数据中台中而且是治理后标准数据，所以应用从数据中台中获取，而获取的途径就是DAP数据服务，而其它产品数据可视化数据也是可以通过数据服务获取有效数据进行展现的。

6.2功能价值

通过数据可视化，业务组织可以提高他们在需要时查找所需信息的能力，并且比其他公司更高效地完成这些工作。

6.3功能展示

1.数据可视化应用：

通过不同的组件展现不同数据，在不同端、不同分辨率上展现不同的分析图表：

PC看板：

大屏展示：

移动展示：

2.数据服务应用:

业务数据对外提供的数据服务：

查询服务：

统计服务：

指标服务：

业务服务：

7数据治理

为了凸显数据中台的价值，需对数据中台的数据进行综合治理，构建标准化、流程化、规范化、一体化的数据治理体系，有效数据治理可以确保企业数据全面一致可信，从而全面提升数据中台数据资产的价值。

7.1功能说明

数据治理分为基础数据治理和业务数据治理，基础数据治理是通过MDM基础数据管理平台进行数据的清洗、管理、审批等操作帮助实现基础数据一致性、完整性、准确性。

业务数据治理主要是从ODS到数仓（维度表、基础事实）过程中进行质量检测，帮助业务数据的完整性，这样在进行汇总计算的时候才能帮助数据准确性，从而建立数仓模型。

7.2 功能价值

数据为企业的重要资产，随着企业信息化进程的推进，企业系统间的数据不能有效地交换与共享，影响数据的实时性、一致性和准确性，形成了数据孤岛。对于企业来说，有价值的数据不仅是各独立系统产生的数据，而是系统之间整合共享所得出的数据，数据孤岛的出现阻碍了这些数据的整合与共享。通过数据中台治理企业数据，梳理业务流程，可以打破数据孤岛，为企业发展提供战略支撑，为后续信息化建设奠定数据基础。

7.3功能展示

基础数据治理：

数据清洗：通过数据清洗功能把业务系统的基础数据导入到MDM中进行校验清洗，清洗后在导入到主数据真实表中。

数据巡检功能：已存在的数据通过数据巡检功能进行重复数据筛选。

业务数据治理：

配置校验规则：配置正则表达式校验规则。

维度表字段配置关联校验规则：

调度流程中校验：

质量日志：

8心得总结

无论是现在的互联网企业，还是传统型企业，都需要数据分析，数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。

8.1平台结合

有效的解决方案一定是根据企业自身业务情况来进行产品的组合拆分打造出来的，通常数据中台治理方案与ESB企业服务总线产品结合进行，MDM负责数据治理工作，ESB负责数据同步分发工作。数通畅联在任何项目方案的选择上，都会遵守方案合理规划、产品最优组合的模式，在企业信息化能力或业务需求没有达到构建标准的基础上，将合理利用企业现有资源，避免造成资源不必要的浪费。