Azkaban概述
Azkaban是一个分布式工作流管理器,在LinkedIn上实现,以解决Hadoop作业依赖性问题。我们
有需要按顺序运行的工作,从ETL工作到数据分析产品。
按我理解,其实就是提供一个友好的web界面,我们可以设定好一些指定的定时任务,可以是按顺序的多个任务,非常好用,上传任务要上传压缩包zip
特点:
1)给用户提供了一个非常友好的可视化界面->web界面
2)非常方便的上传工作流-》打成压缩包
3)设置任务间的关系
4)权限设置-》删库到跑路
5)模块化
6)随时停止和启动任务
7)可以查看日志记录
与Oozie对比
和Oozie相对比,azkaban是一个轻量级调度工具。
企业应用的功能并非小众的功能可以使用Azkaban。
1)功能
两个任务流调度器可以调度使用mr,java,脚本工作流任务
都可以进行定时调度…
2)使用
az直接传参
Oozie直接传参,支持EL表达式…
3)定时
az定时执行任务基于时间
Oozie任务基于时间和数据
4)资源
az有严格的权限控制
Oozie无严格权限控制
Azkaban的安装部署
1)拍个虚拟机快照
2)上传安装包
1.azkaban-executor-server-2.5.0.tar.