X-ETL是基于大数据技术封装的低代码数据集成开发工具,作为supOS工业操作系统核心组成部分,承担平台多源异构数据集成、业务数据加工、数据融合交换,支撑supOS更好的应对企业对数据集成、清洗、交换等场景的需求,打破数据孤岛,实现数据的互联互通和信息共享。
和常规的技术型ETL工具的差别在于,在Web端通过拖拉拽可视化开发组件和自动化调度任务即可完成大部分数据处理流程,屏蔽大数据技术复杂难度,降低数据开发门槛和成本,赋能数据处理人员开发大数据。
关键流程
1、注册数据源:在数据连接管理模块维护数据源的的连接信息,供ETL任务使用。
2、开发任务:低代码创建ETL任务,采用配置化的方式,用户不写一行代码,灵活编排任务。
3、发布任务:支持快速发布和调整发布模式:
① 快速发布模式能够支持将调试成功的任务发布并运行。
② 调整发布模式允许修改数据输入、输出源,实现从测试过程到实际生产运行的切换。
4、任务运维:支持对线上任务进行运行状态和过程监控,提供任务执行履历日志、任务执行结果、任务异常原因、异常数据,对异常任务支持手动触发,重新执行。