Azkaban 分布式任务调度部署实战

随着公司业务规模扩大，运营需要各种数据进行指导运营策略；产品需要各种数据需要指导产品工作；研发也需要在海量数据中快速定位一些指标重构现有系统以便提高性能。以往的 Crontab 模式很难满足现有任务调度，急需一个批量工作流任务调度器，以一个特定的顺序运行一组工作和流程，一种 KV 文件格式来建立任务之间的依赖关系，并提供一个易于使用的 Web 用户界面维护和跟踪你的工作流。

Azkaban 恰恰是这样一种工具，只需要了解相关配置及语法规则，数据工程师就可以完成大数据的任务调度开发。

本次分享的主要内容如下：

• Azkaban 任务调度器简介；

• 零基础搭建分布式 Azkaban；

• 如何实现 Project 之间的依赖；

• 如何进行开发任务插件（实战任务失败钉钉报警， PagerDuty 电话报警）。

---

作者：周祥超，火币研发中心数据平台组团队负责人，前 BAT 之一的数据研发团队 Leader。长期在互联网与金融领域从事一线数据平台的规划设计、实现、开发以及管理工作，擅长大数据相关技术、高可用组件开发、搜索系统架构，性能优化等。

对本 Chat 感兴趣的小伙伴，后台留言，小编送你免费名额。