【产品分享】金融数字化催生海量业务数据，如何确保批量作业调度高效进行？

前言

 

随着企业拥抱数字化程度的提高，数据是企业的发展关键。数据的需求来源于业务也服务于业务，数据的挖掘、探索、分析、个性化推荐、报表等等都依托于数据的输送、转换和写入。数据的调度就是作业的调度。批量作业调度是金融行业信息后台最为重要的技术形态。

 

金融行业每天会进行交易相关的结算、清算、结息、对账等生产活动。这些活动都是通过一个个相互耦合的作业来实现的。因此需要一个作业调度平台来管理这些大量的作业。

 

随着金融行业新系统建设以及旧系统的更新、扩展，运维部门接手运维的应用系统越来越多，每天凌晨有数十个系统需要执行日切任务，近百万的批量作业需要执行，工作量非常繁重，如果有任务出错，很难及时排除故障，导致工作效率很低，影响数据的准确性和及时性。而开源软件、系统自带任务计划、传统批量调度工具逐渐无法满足业务对批量作业调度的需求。企业需要功能更强、性能更佳的国产化产品。

 

批量调度现状及诉求

 

目前，由于金融行业内部缺乏一款专业批量产品支撑，缺乏一定的批量调度规范与标准，企业内部几十上百个系统的批量作业调度混乱，难以管理。

调度原始落后

时至今日仍然有一些系统使用人工调度或操作系统的Crontab方式调度实现作业运行的自动化。这种方式容易引起依赖关系错误对业务构成威胁，当上游作业结束时间晚于下游作业，则会影响到作业执行的及时性和准确性。耗费人力、 容易出错、难以监控已成为这类系统的致命性问题。

 

使用开源软件

调度系统使用开源软件，没有免费的技术支持、学习成本高、维护费用高、安全性低、bug修复不及时、生命周期不确定。