MyData 使用手册v0.7.1

MyData 使用手册v0.7.1

平台介绍

MyData 基于 Web API 的数据集成平台 v0.7.0
用Docker部署 MyData v0.7.1
交流Q群：430089673

版本介绍

MyData v0.7.1版本主要提供 在项目范围内多个环境的数据集成，通过定时任务调用应用的API 获取、存储和消费业务数据；

系统架构

• 采用前后端分离的模式，前端使用 Sword 框架开发，后端使用 SpringBlade 框架的Boot版本开发；
• 系统分为3个服务，分别是：管理服务、任务服务、业务数据服务；
• 管理服务，提供数据集成的管理功能；
• 任务服务，根据任务配置调用第三方接口，分别实现：调用接口获取数据并交由数据服务存储 和 从数据服务读取数据并调用接口消费数据；
• 业务数据服务，封装MongoDB 实现自定义标准数据的存储和动态扩展；

功能介绍

登录系统

默认租户id是6个0，账密admin/admin，填写验证码 点击登录按钮；

数据融合

以下介绍实现数据集成的过程；

应用管理

应用管理 用于维护应用信息，以便集成时 了解数据的来源和去向；

示例中 添加了3个应用，其中hr系统作为用户数据的来源，oa和pm系统消费用户数据；

API管理

API管理 用于维护接口信息，以便任务通过调用API传输数据；

1. 新增API
   

   • API类型的 提供数据 表示该接口返回数据、消费数据 表示该接口接收数据；

   • 相对路径 是指接口不包含ip和端口的访问地址，结合环境的前置路径 形成完整路径，减少API的维护量；

   • 数据类型 目前仅支持JSON格式；

   • JSON字段层级前缀，格式为 x.y.z，根据API类型有2种情况

     • 若API类型是提供数据，则表示从接口返回JSON的哪一层解析业务数据；

       例如下JSON，则前缀需设置为data；

       {
       	"code": 200,
       	"success": true,
       	"data": [{
       		"createUser": -1,
       		"createTime": "",
       		"updateUser": -1,
       		"updateTime": "",
       		"status": -1,
       		"isDeleted": 0,
       		"id": 1,
       		"userCode": "user_001",
       		"userName": "用户11",
       		"birthday": "2000-01-01 00:00:00",
       		"age": 1,
       		"salary": 111.00
       		},
               ...
           ],
       	"msg": "操作成功"
       }
       

     • 若API类型是消费数据，则表示调用接口传递JSON数据时 需增加的属性名；

       同上示例，若设置为data 则向接口发送的JSON如下：

       {
       	"data": [{
       		"createUser": -1,
       		"createTime": "",
       		"updateUser": -1,
       		"updateTime": "",
       		"status": -1,
       		"isDeleted": 0,
       		"id": 1,
       		"userCode": "user_001",
       		"userName": "用户11",
       		"birthday": "2000-01-01 00:00:00",
       		"age": 1,
       		"salary": 111.00
       		},
               ...
           ]
       }
       

2. 调试API

   点击上方的调试按钮，打开调试页面；

   选择可调用接口的所在环境，可看到接口完整地址； 点击运行按钮，可查看调用接口的结果，包括响应状态、耗时和响应体；
   

项目管理

项目管理 主要包括项目信息维护、运行环境、集成数据项和任务的管理，可以实现项目内的数据集成；

1. 创建项目

   点击项目管理的新增按钮，再填写项目的编号、名称和描述 提交即可；
   
   

2. 集成管理

   点击项目右侧的集成管理进入
   

   集成页面 包含环境、数据项、集成任务 三部分；
   

3. 新增数据项

   点击+新增数据项按钮，填写数据编号、名称和字段信息，并设置某个或多个字段的组合 作为数据的唯一标识；
   

4. 新增环境

   点击+环境按钮，跳转到环境新增页面，填写环境信息，如下图：
   
   添加成功后，再回到项目的集成管理；

5. 任务管理

   选择环境后，会显示数据项在所选环境的概况信息；
   

   点击操作列的任务管理，可以看到任务管理页面；

   页面分为左右两部分，左侧是提供数据的任务、右侧是消费数据的任务；
   

6. 新增任务

   • 新增提供数据任务
     

     • 填写任务名称
     • 选择提供数据类型的API
     • 选择任务周期
     • 字段映射中 填写对应的接口字段名，接口字段可空 表示未提供该数据字段数据；

   • 新增消费数据任务

     操作同上，区别是 可选的API为消费数据类型的接口；

7. 任务操作
   

   • 任务状态，灰色 表示未启动、绿色 表示运行中、红色 表示异常；

   • 启动任务，点击图标启动任务，启动成功后 任务背景色变为绿色；

   • 停止任务，点击图标停止任务；

   • 单次执行，点击图标可立即执行一次该任务，显示该提示表示任务开始执行

   • 任务日志，点击图标查看任务执行日志，如下图：
     

     点击 + 号 可展开查看日志详情
     

   • 编辑任务，点击图标显示任务编辑页面，若任务处于运行中 会显示提示

   • 删除任务，点击图标删除任务，若任务处于运行中 则不能删除，会显示提示

数据管理

从全局范围 管理所有数据项，以便快速查找，由于脱离了项目和环境 因此只有基本信息的维护；

任务管理

从全局范围 管理所有的数据同步任务，以便快速查找和调试，由于脱离的项目 暂不支持新增功能，其他功能同前；

环境管理

从全局范围 管理环境信息，以便快速查找；