![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Azkaban
Azkaban
嘻哈吼嘿呵
这个作者很懒,什么都没留下…
展开
-
四、Azkaban调度Shell脚本
需求:通过Azkaban 调用 shell脚本,将当前时间追加到指定目录的date.txt文件中1、Liux下创建shell脚本 mkdir azkaban_schedule cd azkaban_schedule/ vim shell_az.sh#!/bin/bashdate >> /root/azkaban_schedule/date.txt2、在 Wi...原创 2019-10-05 16:47:19 · 1422 阅读 · 0 评论 -
三、Azkaban 实例
目录一、单一 job 案例1、创建 job 描述文件2、通过 azkaban 的 web 管理平台创建 project 并上传 job 的 zip 包二、邮件通知配置三、多 job 工作流案例四、Java 操作任务五、HDFS 操作任务六、MapReduce 任务七、Hive 脚本任务Azkaban 内置的任务类型支持 command、 java一、单一...原创 2019-10-05 16:44:40 · 249 阅读 · 0 评论 -
二、Azkaban 安装部署(三)
目录1、安装前准备2、 安装 Azkaban3、生成密钥对和证书4、时间同步配置5、配置文件6、执行服务器配置 Executor7、启动 Executor 服务器8、启动 Web 服务器9、jps 查看进程10、访问 Azkaban Web 界面1、安装前准备1) 将 Azkaban Web 服务器、 Azkaban 执行服务器、 Azkaba...原创 2019-10-04 19:00:12 · 197 阅读 · 0 评论 -
二、Azkaban 安装部署(二)
1、solo-server模式部署(1)解压mkdir -p /softwares/azkaban/solo-servertar -zxvf ../azkaban-3.73.4/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C .(2)修改时区cd ...原创 2019-10-04 18:59:27 · 116 阅读 · 0 评论 -
二、 Azkaban 安装部署(一)
1、部署模式Azkaban支持三种部署模式,分别用于学习和测试,高可用部署方式。(1)solo-server模式DB使用的是一个内嵌的H2,Web Server和Executor Server运行在同一个进程里。这种模式包含Azkaban的所有特性,但一般用来学习和测试。(2)two-server模式DB使用的是MySQL,MySQL支持master-slave架构,Web S...原创 2019-10-04 18:58:44 · 1333 阅读 · 2 评论 -
一、概述
1、什么是 AzkabanAzkaban 是由 Linkedin 公司推出的一个批量工作流任务调度器,主要用于在一个工作流内以一个特定的顺序运行一组工作和流程,它的配置是通过简单的 key:value 对的方式,通过配置中的 Dependencies 来设置依赖关系。Azkaban 使用 job 配置文件建立任务之间的依赖关系,并提供一个易于使用的 web 用户界面维护和跟踪你的工作流。2...原创 2019-10-04 16:57:14 · 79 阅读 · 0 评论