MyData 使用手册v0.7.1
平台介绍
MyData 基于 Web API 的数据集成平台 v0.7.0
用Docker部署 MyData v0.7.1
交流Q群:430089673
版本介绍
MyData v0.7.1版本主要提供 在项目范围内多个环境的数据集成,通过定时任务调用应用的API 获取、存储和消费业务数据;
系统架构
- 采用前后端分离的模式,前端使用 Sword 框架开发,后端使用 SpringBlade 框架的Boot版本开发;
- 系统分为3个服务,分别是:管理服务、任务服务、业务数据服务;
- 管理服务,提供数据集成的管理功能;
- 任务服务,根据任务配置调用第三方接口,分别实现:调用接口获取数据并交由数据服务存储 和 从数据服务读取数据并调用接口消费数据;
- 业务数据服务,封装MongoDB 实现自定义标准数据的存储和动态扩展;
功能介绍
登录系统
默认租户id是6个0,账密admin/admin,填写验证码 点击登录按钮;
数据融合
以下介绍实现数据集成的过程;
应用管理
应用管理 用于维护应用信息,以便集成时 了解数据的来源和去向;
示例中 添加了3个应用,其中hr系统作为用户数据
的来源,oa和pm系统消费用户数据
;
API管理
API管理 用于维护接口信息,以便任务通过调用API传输数据;
-
新增API
-
API类型的
提供数据
表示该接口返回数据、消费数据
表示该接口接收数据; -
相对路径 是指接口不包含ip和端口的访问地址,结合环境的前置路径 形成完整路径,减少API的维护量;
-
数据类型 目前仅支持JSON格式;
-
JSON字段层级前缀,格式为 x.y.z,根据API类型有2种情况
-
若API类型是
提供数据
,则表示从接口返回JSON的哪一层解析业务数据;例如下JSON,则前缀需设置为data;
{ "code": 200, "success": true, "data": [{ "createUser": -1, "createTime": "", "updateUser": -1, "updateTime": "", "status": -1, "isDeleted": 0, "id": 1, "userCode": "user_001", "userName": "用户11", "birthday": "2000-01-01 00:00:00", "age": 1, "salary": 111.00 }, ... ], "msg": "操作成功" }
-
若API类型是
消费数据
,则表示调用接口传递JSON数据时 需增加的属性名;同上示例,若设置为data 则向接口发送的JSON如下:
{ "data": [{ "createUser": -1, "createTime": "", "updateUser": -1, "updateTime": "", "status": -1, "isDeleted": 0, "id": 1, "userCode": "user_001", "userName": "用户11", "birthday": "2000-01-01 00:00:00", "age": 1, "salary": 111.00 }, ... ] }
-
-
-
调试API
点击上方的
调试
按钮,打开调试页面;选择可调用接口的所在环境,可看到接口完整地址;
点击
运行
按钮,可查看调用接口的结果,包括响应状态、耗时和响应体;
项目管理
项目管理 主要包括项目信息维护、运行环境、集成数据项和任务的管理,可以实现项目内的数据集成;
-
创建项目
点击项目管理的
新增
按钮,再填写项目的编号、名称和描述 提交即可;
-
集成管理
点击项目右侧的
集成管理
进入
集成页面 包含环境、数据项、集成任务 三部分;
-
新增数据项
点击
+新增数据项
按钮,填写数据编号、名称和字段信息,并设置某个或多个字段的组合 作为数据的唯一标识;
-
新增环境
点击
+环境
按钮,跳转到环境新增页面,填写环境信息,如下图:
添加成功后,再回到项目的集成管理; -
任务管理
选择环境后,会显示数据项在所选环境的概况信息;
点击操作列的
任务管理
,可以看到任务管理页面;页面分为左右两部分,左侧是提供数据的任务、右侧是消费数据的任务;
-
新增任务
-
新增提供数据任务
- 填写任务名称
- 选择
提供数据
类型的API - 选择任务周期
- 字段映射中 填写对应的接口字段名,接口字段可空 表示未提供该数据字段数据;
-
新增消费数据任务
操作同上,区别是 可选的API为消费数据类型的接口;
-
-
任务操作
-
任务状态,
灰色
表示未启动、绿色
表示运行中、红色
表示异常; -
启动任务,点击
图标启动任务,启动成功后 任务背景色变为绿色;
-
停止任务,点击
图标停止任务;
-
单次执行,点击
图标可立即执行一次该任务,显示该提示表示任务开始执行
-
任务日志,点击
图标查看任务执行日志,如下图:
点击 + 号 可展开查看日志详情
-
编辑任务,点击
图标显示任务编辑页面,若任务处于运行中 会显示提示
-
删除任务,点击
图标删除任务,若任务处于运行中 则不能删除,会显示提示
-
数据管理
从全局范围 管理所有数据项,以便快速查找,由于脱离了项目和环境 因此只有基本信息的维护;
任务管理
从全局范围 管理所有的数据同步任务,以便快速查找和调试,由于脱离的项目 暂不支持新增功能,其他功能同前;
环境管理
从全局范围 管理环境信息,以便快速查找;