金融任务实例实时、离线跑批,Apache DolphinScheduler 在新网银行的三大应用场景与五大优化...
在新网银行,每天都有大量的任务实例产生,其中实时任务占据多数。为了更好地处理任务实例,新网银行在综合考虑之后,选择使用 Apache DolphinScheduler 来完成这项挑战。如今,新网银行多个项目已经完成了实时与准实时的跑批,指标管理系统的离线跑批,应用于离线数据开发和任务调度、准实时数据开发和任务调度,以及其他非 ETL 用户定义数据跑批三类场景中。为了更好地...
个人简介:新一代大数据任务调度 - Apache DolphinScheduler(incubator) 于 17 年开始研发, 19 年 3 月开源,8 月进入 Apache 孵化器, 已累计有IBM、腾讯、360、阿里等近1000 家公司在生产上使用。 DolphinScheduler 致力于“解决大数据任务之间错综复杂的依赖关系,使各种大数据技术开箱即用,让整个数据处理过程直观可见”。DolphinScheduler 以 DAG 的方式将 Task 组装起来,可实时监控任务的运行状态,同时支持重试、从指定节点恢复失败、暂停及Kill任务等操作