Azkaban
文章平均质量分 63
轻量级资源调度工具
Alienware^
喜欢专研Java,Scala,Python,数据库,以及大数据框架系列知识。希望通过不断的学习,记录自己的点点滴滴。
展开
-
Azkaban多Executor模式注意事项
文章目录Azkaban多Executor模式注意事项参考资料Azkaban完整配置YAML语法Azkaban多Executor模式注意事项Azkaban多Executor模式是指,在集群中多个节点部署Executor。在这种模式下, Azkaban web Server会根据策略,选取其中一个Executor去执行任务。为确保所选的Executor能够准确的执行任务,我们须在以下两种方案任选其一,推荐使用方案二。方案一:指定特定的Executor(hadoop102)去执行任务。1)在MySQL中原创 2022-01-24 11:33:39 · 796 阅读 · 0 评论 -
Azkaban 电话报警案例
文章目录电话报警案例第三方告警平台集成测试电话报警案例第三方告警平台集成有时任务执行失败后邮件报警接收不及时,因此可能需要其他报警方式,比如电话报警。如有类似需求,可与第三方告警平台进行集成,例如睿象云。1)进入睿象云官网注册账号并登录官网地址:https://www.aiops.com/2)集成告警平台,使用 Email 集成3)获取邮箱地址,后边需将报警信息发送至该邮箱4)配置分派策略5)修改配置文件[luanhao@Bigdata00 ~]$ vim /opt/modul原创 2021-06-26 12:28:10 · 405 阅读 · 0 评论 -
Azkaban 邮件报警案例
文章目录注册邮箱默认邮件报警案例注册邮箱1)申请注册一个 qq 邮箱 (这里只展示QQ邮箱,但是其他邮箱都是一样的套路)2)点击首页,设置找到SMTP服务注意,授权码只显示一次默认邮件报警案例Azkaban 默认支持通过邮件对失败的任务进行报警,配置方法如下:1 ) 在 azkaban-web 节 点 Bigdata00上 , 编 辑 /opt/module/azkaban/azkaban-web/conf/azkaban.properties,修改如下内容:[luanhao@Bi原创 2021-06-24 18:17:25 · 731 阅读 · 0 评论 -
Azkaban 定时执行案例
需求:JobA 每间隔 1 分钟执行一次;具体步骤:1)Azkaban 可以定时执行工作流。在执行工作流时候,选择左下角 Schedule2)右上角注意时区是上海,然后在左面填写具体执行事件,填写的方法和 crontab 配置定时任务规则一致。3)观察结果4)删除定时调度点击 remove Schedule 即可删除当前任务的调度规则。...原创 2021-06-24 16:42:20 · 1109 阅读 · 0 评论 -
Azkaban 中 条件工作流案例
文章目录运行时参数案例预定义宏案例条件工作流功能允许用户自定义执行条件来决定是否运行某些Job。条件可以由当前Job的父 Job 输出的运行时参数构成,也可以使用预定义宏。在这些条件下,用户可以在确定 Job执行逻辑时获得更大的灵活性,例如,只要父 Job 之一成功,就可以运行当前 Job。运行时参数案例1)基本原理(1)父 Job 将参数写入 JOB_OUTPUT_PROP_FILE 环境变量所指向的文件(2)子 Job 使用 ${jobName:param}来获取父 Job 输出的参数并定义执原创 2021-06-24 15:49:24 · 366 阅读 · 0 评论 -
Azkaban 中 JavaProcess 作业类型案例
文章目录JavaProcess 作业类型案例JavaProcess 作业类型案例JavaProcess 类型可以运行一个自定义主类方法,type 类型为 javaprocess,可用的配置为:Xms:最小堆Xmx:最大堆classpath:类路径java.class:要运行的 Java 对象,其中必须包含 Main 方法main.args:main 方法的参数案例:1)新建一个 azkaban 的 maven 工程2)创建包名:com3)创建 TestJavaProcess类p原创 2021-06-24 13:07:20 · 296 阅读 · 0 评论 -
Azkaban案例 (其他)
文章目录作业依赖案例自动失败重试案例手动失败重试案例作业依赖案例需求:JobA 和 JobB 执行完了,才能执行 JobC具体步骤:1)新建second.flow 为如下内容nodes: - name: jobC type: command # jobC 依赖 JobA 和 JobB dependsOn: - jobA - jobB config: command: echo "I’m JobC" - name: jobA type: command config: com原创 2021-06-24 11:20:18 · 250 阅读 · 1 评论 -
Azkaban案例 (HelloWorld)
文章目录HelloWorld 案例HelloWorld 案例1)在 windows 环境,新建 first.project 文件,编辑内容如下azkaban-flow-version: 2.0注意:该文件作用,是采用新的 Flow-API 方式解析 flow 文件。2)新建 first.flow 文件,内容如下nodes: - name: jobA type: command config: command: echo "Hello World" (1)Name:job 名称(原创 2021-06-23 22:32:15 · 371 阅读 · 1 评论 -
Azkaban 入门(安装)
文章目录上传 tar 包配置MySQL配置 Executor Server配置 Web Server上传 tar 包1)将 azkaban-db-3.84.4.tar.gz,azkaban-exec-server-3.84.4.tar.gz,azkaban-webserver-3.84.4.tar.gz 上传到 虚拟机上 的/opt/software 路径[luanhao@Bigdata00 azkaban]$ ll总用量 35572-rw-rw-r--. 1 luanhao luanhao原创 2021-06-23 16:13:55 · 192 阅读 · 1 评论 -
Azkaban概论(3.x)
文章目录Azkaban 概论数仓工作流程为什么需要工作流调度系统官网常见工作流调度系统Azkaban 与 Oozie 对比部署模式Azkaban 概论数仓工作流程为什么需要工作流调度系统1)一个完整的数据分析系统通常都是由大量任务单元组成:Shell 脚本程序,Java 程序,MapReduce 程序、Hive 脚本等2)各任务单元之间存在时间先后及前后依赖关系3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;官网azkaban.github.io常见工作流调度原创 2021-06-23 14:24:05 · 155 阅读 · 0 评论 -
Azkaban学习之路 —— 一文带你了解Azkaban
文章目录一,概述1.1 为什么需要工作流调度系统1.2 Azkaban的适用场景1.3 什么是azkaban1.4 Azkaban特点1.5 常见工作流调度系统1.6 ooize和azkaban特性对比1.7 Azkaban的架构1.8 Azkaban下载地址二 Azkaban安装部署2.1 安装前准备2.2 安装Azkaban2.3 生成密钥库2.4 时间同步配置2.5 配置文件2.5.1 Web服务器配置2.5.2 执行服务器配置2.6 启动executor服务器2.7 启动web服务器三 Azkaba原创 2020-09-18 11:21:27 · 436 阅读 · 0 评论