开源地址:gitee | github
详细介绍:MyData 基于 Web API 的数据集成平台
部署文档:用 Docker 部署 MyData
使用手册:MyData 使用手册
试用体验:https://demo.mydata.work
交流Q群:430089673
概述
MyData基于数据资产理念设计,采用Web API作为数据传输通道 完全不侵入任何业务系统;
API通常不是简单的调用即可获得结果,需要传递外部的参数才能得到预期结果;
API的常见场景
-
身份验证和授权
类似Web Token,先通过认证API获取令牌 存储在客户端,随后每次通信都附带令牌; -
参数筛选数据
当调用API时,通过参数筛选 准确获取所需数据,例如:员工在职状态、订单支付状态等; -
分批获取数据
当处理大量数据或分页显示数据时,需要分批获取数据,例如:分页参数有 指定页数、每页的数量;…
环境&变量
MyData提供两层管理:环境管理
、变量管理
;
-
环境管理
结合开发流程、部署环境等场景,统一管理API的运行环境,比如内部的:开发环境、测试环境、生产环境,外部的第三方厂商环境等;
-
变量管理
按环境隔离管理变量,相同环境下API可共享变量;
-
变量值来源:
手动登记
变量,配置静态值,需要调整时再修改;- 通过配置
定时任务
从API获取并更新变量值,下图示例是每分钟调用一次认证接口获取令牌 并保存到token2变量;
-
使用变量:
- 在API的Headers和Params参数值中,通过
${变量名}
格式获取变量值;
- 在定时任务的
请求参数
中通过${变量名}
格式获取变量值;
- 在API的Headers和Params参数值中,通过
-
定时任务中使用变量
基于 数据集成之任务流程 介绍任务执行流程,在任务开始与调用API之间 增加环境变量的解析处理;
以下是任务执行过程代码片段,其中jobVarService.parseVar(taskInfo);
是任务开始后的第一步操作,具体变量的解析处理可详见 JobVarService.java
taskInfo.appendLog("任务开始执行");
...
// 标记本次执行是否成功
boolean isJobSuccess = false;
// 获取任务操作类型
int opType = taskInfo.getOpType();
try {
// 解析并替换api中的环境变量
jobVarService.parseVar(taskInfo);
// 根据操作类型 执行读或写
switch (opType) {
// 提供数据
case MdConstant.DATA_PRODUCER:
...
break;
// 消费数据
case MdConstant.DATA_CONSUMER:
...
break;
default:
throw new RuntimeException("不支持的任务类型:" + opType);
}
// 任务执行成功
isJobSuccess = true;
} catch (Exception e) {
taskInfo.appendLog("任务执行失败,异常:{}", e.getMessage());
e.printStackTrace();
} finally {
// 恢复原生header和param,恢复变量表达式,下次可获取最新变量值
taskInfo.setReqHeaders(taskInfo.getOriginReqHeaders());
taskInfo.setReqParams(taskInfo.getOriginReqParams());
}