数据中台之DSP一站式服务发布

转载本文需注明出处：微信公众号EAWorld，违者必究。

数据中台是在大数据潮流下，数据舵盘的下一站，它的核心思想可理解是数据标准共享化，是业务源和业务目标之间的枢纽。有利团队协作、专业化员工能力，提高业务开发效率。

数据服务共享平台DSP（Data Service Platform），实现多数据源业务系统数据汇聚整合、统一数据提纯加工、数据服务共享可视化、服务API化、订阅消费的一体化管理平台，可视为数据中台的产品版。下面主要以数据集成、服务发布、服务控制、消费与使用来介绍数据中台之DSP一站式服务发布。

目录：

1.数据集成

2.服务发布

3.服务控制

4.消费与使用

5.实践意义

一、数据集成

1、多类型数据源支持

数据集成之数据源多样化支持。资源管理集成配置结构化数据库如MySQL、Oracle、PostgreSql、DM、SqlServer等，非结构化数据库如Hive、HBase、MongoDB和文件，自动采集到配置数据源表信息及字段信息。

2、数据管理区

数据集成之整体宏观数据分区管理。将数据管理划分不同数据区：源区->前置区->共享区->消费方四个层级，通过不同开发方式实现数据流转，如下图：

3、多开发方式

数据集成之数据区数据流转开发方式。如批量作业（离线作业和在线作业）、作业流、文件传输、服务发布。

a、批量作业又可分为离线开发和在线开发，如下图：

 

b、作业流：编排作业运行顺序依赖关系，多种策略配置。

c、文件传输分为一对一和一对多传输，如下图：

d、服务发布分为实体资源和服务资源两类，区别在于服务资源增加了发布服务为API的步骤：

实体资源：创建资源信息，关联共享数据，供消费方预览和申请后使用。

服务资源：创建资源信息，关联共享数据，发布为RESTful服务，供消费方预览和申请后使用。

4、服务化并消费

数据集成之成熟业务数据服务化消费。在共享区数据服务化后，面向消费方开放，平台为消费者提供数据预览、申请和订阅功能，经过数据管理员审批、监控数据，实现对数据的共享管控。

下面来实现DSP中台共享数据的一站式服务发布，是我们本次的目标。

二、服务发布

在资源分类管理界面，创建资源分类->数据实体归类>实体关联资源->资源发布通过关联共享区清洗结果表数据（关联的是共享区的数据），将数据实体中关联的数据资源发布为web服务，供消费方申请使用。

1.资源创建

服务发布之灵活资源分类创建。把控精细化业务数据分类发布。

a、创建资源实体人才信息，如下图：

 

b、分配资源，选择节点后显示该资源下共享区数据资源，关联资源，如下图：

 

c、选择业务资源，资源可添加单或多资源结构化数据库（MySQL、Oracle、DM、Postgre等），单非结构化资源（MongoDB、Hbase等），如下图：

 

2. 服务发布

服务发布是基于架构模块DataRelease（数据发布引擎），底层以SpringBoot架构提供数据服务发布及数据访问能力来实现，可支持单表、多表关联配置、自动生成或者自定义SQL，以SQL结果集为接口数据，控制对外数据和字段命名，发布RESTFu实时接口服务。

分为4步完成我们的共享区的成熟共享资源发布。

a、字段选择，对关联资源进行字段删除和增加，如下图：  

b、配置条件，添加资源过滤条件，如下图：

 

c、预览SQL，一键生成SQL，也可自定义灵活编辑SQL，如下图：

 

d、服务发布，选择服务关联信息，发布服务，如下图：

 

3.服务查看

可查看已发布web资源，URL和其他相关参数说明，如下图：

 

三、服务控制

DSP中台共享平台将从三个方面对当前已经发布的服务来进行管理和控制。

1.调用关系配置管理

配置调用系统（消费方系统）、服务提供节点和服务提供者系统（共享区节点）对应关联关系，实现消费方系统和调用服务具体方法的关联，来控制消费者系统调用权限。

 

2.服务状态管理

对于刚发布的服务，初始状态为已注册。

 

在这里可以控制服务的启动、停止恢复、暂停或继续执行之应用配置，管理已经发布服务的状态。点击启动，则当前服务生效中，状态随之也变为已发布。

3、服务IP白名单管理

配置系统白名单是必须的，严格控制已发布服务调用权限。只有在此配置了服务所属系统与访问客户端的IP地址的关系，此客户端的访问请求才能被服务正常接收和处理。

新增系统资源和IP关系，如下图：

 

查看已配置，如下图： 

四、消费与使用

消费方对于DSP中台共享发布的服务，可预览部分数据和服务，对需求数据进行申请订阅，经数据管理员审批通过和配置后，方可获取到，平台内做到统一消费管理、监控。

1、消费与审批

创建用户赋权后，消费用户预览资源并申请web服务，上报至数据管理员审批。数据管理员进行审批、行列级字段控制和调用配置。

 

2、服务调用示例

消费用户对已申请服务，进行消费服务调用。数据管理员可随时控制服务返回字段数据。

 

3、监控统计

对已发布服务，在消费方调用后进行监控统计，持续改进。

a、Web调用总览，如下图：

 

 b、详情查看，如下图：

 

五、实践意义

普元数据服务共享平台DSP，帮助企业实现数据汇聚、降低业务对技术依赖，从关注技术到关注数据，打造统一的服务化管控数据中台，一站式服务发布。实现企业更加有效、可靠的使用数据。

关于作者： 雨声，现任普元高级开发工程师，熟悉大数据、Java、常用消息组件等主流技术和普元DSP等产品，有参与数据中台搭建、数据可视化敏捷开发的完整经验。

关于EAWorld：微服务，DevOps，数据治理，移动架构原创技术分享。长按二维码关注！

分享、赞、在看，点点点