基于Scala构建分布式调度ETL系统Akkaflow

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/kent7306/article/details/68955115

akkaflow

简介

akkaflow是一个基于akka架构上构建的分布式高可用ETL工作流调度工具,可以把任务分发在集群中不同的节点上并行执行,高效利用集群资源,支持时间及任务混合触发;提供多种节点类型。其中工作流由xml文件,并且提供一套完整的基于Shell的操作命令集,简洁易用,长期稳定运行,可作为构建数据仓库、或大数据平台上的调度工具。
用户提交的xml工作流定义文件,满足触发条件后,系统会触发执行工作流;实例运行产生的各类数据将被记录并提供用户查看与进一步操作,其中

  • 简单的前端操作页面详见演示地址,演示账号密码分别为admin/admin,机器配置为(1内核,1G内存, 1Mps)
  • 工作流定义文档详见这里 ,目前支持行动节点类型有以下,可进一步扩展功能
行动节点类型 节点功能简述
<sql/> sql执行节点,目前支持Hive、Mysql、Oracle、Impala数据库。
<transfer/> 数据传输节点,目前支持Mysql、Oracle、Hive、本地文件、hdfs文件之间的数据行传输

没有更多推荐了,返回首页