基于kettle的数据集成平台（一）

本篇文章先不介绍kettle的基础知识，主要介绍基于kettle的数据集成平台。也就说，本篇文章介绍的是一个平台，是需要具备大量的kettle知识点才能完成的。通过对此平台的介绍，让大家对kettle的学习充满兴趣，不至于半途而废。这个平台能够解决工程师工作中大部分的数据处理问题。 当然如果大家喜欢这个平台的话，可以在评论区留言大家共同谈论，一起进步。

平台简介：

基于kettle的数据集成平台， 通过用来管理job和trans，来提供服务接口。该服务接口支持各种协议及报文的转换，解决了工作中大部分的数据处理问题。同时该平台也支持任务调度，充分继承了kettle的job特性。当然也通过一些辅助功能来更好的诠释该平台，如报表统计，日志追踪，用户管理，权限管理，菜单管理等。

核心功能：

• 支持rest请求，websocket请求，mqtt请求等；
• 支持服务维度的热插拔。
• 提供请求报文转换服务，响应报文服务；
• 服务重新发起请求；由平台发起，不需要用户调用来发起；
• 支持同步请求和异步请求；
• 服务执行方式（servlet方式，还是指定的服务节点）
• 指定输出节点
• 提供自定义参数的配置；
• 接口调用汇总统计功能。（各种维度汇总,成功失败失败的原因， 交易相关的调用量有多少，管理相关的调用量有多少）

平台演示：

进入平台，在服务池列表中，选择服务，获取url。

通过postman调用接口。

查看调用日志：

使用说明：

• 登陆

通过用户名密码登录系统

• 首页

报表统计：用于统计服务调用的总量，成功量，失败量。

• 资源管理

支持kettle文件的上传（ktr文件和kjb文件）

• 服务管理

通过配置服务接口，服务接口执行过程中调用kettle文件

• 日志管理

通过服务名称定位服务执行日志，以及查看日志详情

 

• 用户管理
• 菜单管理
• 权限管理

用户管理、菜单管理和权限管理是基于RBAC理论实现的，这里不再介绍。

总结：

本篇对基于kettle的数据集成平台做了简单的介绍，实际上该平台的功能是非常强大的，这里只展示部分核心功能，有需要的同学可以联系我共同探讨；可加qq893393953。