BigData-17:Azkaban

Azkaban概述

Azkaban是一个分布式工作流管理器,在LinkedIn上实现,以解决Hadoop作业依赖性问题。我们
有需要按顺序运行的工作,从ETL工作到数据分析产品。
特点:

1)给用户提供了一个非常友好的可视化界面->web界面
2)非常方便的上传工作流-》打成压缩包
3)设置任务间的关系
4)权限设置-》删库到跑路
5)模块化
6)随时停止和启动任务
7)可以查看日志记录

与Oozie对比
和Oozie相对比,azkaban是一个轻量级调度工具。

企业应用的功能并非小众的功能可以使用Azkaban。

1)功能
两个任务流调度器可以调度使用mr,java,脚本工作流任务
都可以进行定时调度…
2)使用
az直接传参
Oozie直接传参,支持EL表达式…
3)定时
az定时执行任务基于时间
Oozie任务基于时间和数据
4)资源
az有严格的权限控制
Oozie无严格权限控制

Azkaban安装部署

准备工作
1)快照
2)上传安装包
alt+p
3)解压重命名
tar -zxvf
mv
4)mysql中azkaban脚本导入
source /root/hd/azkaban/azkaban-2.5.0/create-all-sql-2.5.0.sql
安装部署
1)创建SSL(安全连接)配置
服务器需要一个证书
keytool -keystore keystore -alias jetty -genkey -keyalg RSA
2)时间同步设置
生成时区文件
tzselect生成
5->9->1->yes
拷贝时区文件
cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
集群时间同步
crt中开启交互窗口 发送
sudo date -s '2018-11-28 20:41:33'
3)修改配置文件
4)启动web服务器
bin/azkaban-web-start.sh
5)启动执行器
bin/azkaban-executor-start.sh
6)访问web
https://192.168.50.183:8443

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值