前言
本文隶属于专栏《1000个问题搞定大数据技术体系》,该专栏为笔者原创,引用请注明来源,不足和错误之处请在评论区帮忙指出,谢谢!
本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系
正文
Azkaban 是什么?
Azkaban 是完成工作流调度的(其实主要还是用于对 Hadoop 生态圈的任务的支持),它是由 Linkedin 实现并开源的,
主要用在一个工作流内以一个特定的顺序运行组工作和流程,它的配置是通过简单的 key / value 对的方式,
通过配置中的 dependencies 来设置依赖关系,这个依赖关系必须是无环的,否则会被视为无效的工作流,同时它提供了一个易于使用的web用户界面维护和跟踪你的工作流。
Azkaban 有什么特点?
- 兼容所有版本的 Hadoop 。
- 基于 Web 的易用 UI
- 简单的 Web 和 HTTP 工作流上传。
- 项目工作空间
- 工作流调度。
- 模块化和插件化。
- 支持认证和授权
- 可跟踪用户行为。
- 失败和成功时的邮件提醒。
- SLA 警告和自动终止。
- 失败作业的重试。