azkaban

最新推荐文章于 2023-11-09 11:32:11 发布
最新推荐文章于 2023-11-09 11:32:11 发布
阅读量121 收藏
点赞数 1
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_46339499/article/details/108553436
版权

azkaban

1、azkaban概述

工作流调度系统

2、常见的任务调度

1、简单的任务调度：直接使用linux的crontab来定义

2、复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如ooize、azkaban、Cascading、Hamake

3、ooize和azkaban对比

1、功能上：
两者均可以调度mapreduce，pig，java，脚本工作流任务
两者均可以定时执行工作流任务

2、传参数：
Azkaban支持直接传参，例如${input}
Oozie支持参数和EL表达式，例如${fs:dirSize(myInputDir)}

3、定时执行
Azkaban的定时执行任务是基于时间的
Oozie的定时执行任务基于时间和输入数据

4、azkaban特点

1）Web用户界面
2）方便上传工作流
3）方便设置任务之间的关系
4）调度工作流
5）认证/授权(权限的工作)
6）能够杀死并重新启动工作流
7）模块化和可插拔的插件机制
8）项目工作区
9）工作流和任务的日志记录和审计

5、集群搭建

1、上传包：azkaban-db-3.84.4.tar.gz，azkaban-exec-server-3.84.4.tar.gz，azkaban-web-server-3.84.4.tar.gz

2、解压：先创建文件夹mkdir /opt/module/azkaban，然后解压ls /opt/software/azkaban*.tar.gz | xargs -n1 tar zxC /opt/module/azkaban -f

3、初始化mysql:
登录：mysql -uroot -p000000
mysql> CREATE DATABASE azkaban;
mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '000000';
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql
mysql> quit;

4、修改mysql配置
sudo vim /etc/my.cnf
max_allowed_packet=1024M

5、重启mysql
sudo systemctl restart mysqld

6、设置Executor Server
vim /opt/module/azkaban/azkaban-exec-server-3.84.4/conf/azkaban.properties
...
default.timezone.id=Asia/Shanghai
...
azkaban.webserver.url=http://hadoop102:8081
...
database.type=mysql
mysql.port=3306
mysql.host=hadoop102
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100
executor.metric.reports=true
executor.metric.milisecinterval.default=60000

7、设置Web Server
vim /opt/module/azkaban/azkaban-web-server-3.84.4/conf/azkaban.properties
...
default.timezone.id=Asia/Shanghai
...
database.type=mysql
mysql.port=3306
mysql.host=hadoop102
mysql.database=azkaban
mysql.user=root
mysql.password=123456
mysql.numconnections=100
...
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus

8、修改azkaban-users.xml文件（在web文件下）
vim /opt/module/azkaban/azkaban-web-server-3.84.4/conf/azkaban-users.xml
<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>
  <user password="123456" roles="metrics,admin" username="atguigu"/>

  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>

9、同步azkaban至另外两个节点

10、激活executor server（三台）：
cd /opt/module/azkaban/azkaban-exec-server-3.84.4
bin/start-exec.sh
目录下出现executor.port文件，说明启动成功
激活命令：
curl -G "hadoop102:$(<./executor.port)/executor?action=activate" && echo
curl -G "hadoop103:$(<./executor.port)/executor?action=activate" && echo
curl -G "hadoop104:$(<./executor.port)/executor?action=activate" && echo
三台机器均会出现{"status":"success"}提示

11、在102启动web server
cd /opt/module/azkaban/azkaban-web-server-3.84.4
bin/start-web.sh

12、访问http://hadoop102:8081,并用atguigu，123456用户登陆

6、范例

1、入门案例
1、新建文件：first.project，写入：
azkaban-flow-version: 2.0

2、新建文件：basic.flow，写入：
nodes:
  - name: jobA
    type: command
    config:
      command: echo "This is an echoed text."

3、将两个文件打包到一起（必须zip）

4、在web页面新建工程并上传zip文件


5、执行
2、有依赖的
nodes:
  - name: jobC
    type: command
    # jobC 依赖 JobA和JobB
    dependsOn:
      - jobA
      - jobB
    config:
      command: echo "I’m JobC"

  - name: jobA
    type: command
    config:
      command: echo "I’m JobA"

  - name: jobB
    type: command
    config:
      command: echo "I’m JobB"
3、全局变量
config:
  words.to.print: "This is for test!"

nodes:
  - name: jobA
    type: command
    config:
      command: echo ${words.to.print}
4、子工作流
nodes:
  - name: jobC
    type: command
    # jobC 依赖embedded_flow
    dependsOn:
      - embedded_flow
    config:
      command: echo "I’m JobC"

  - name: embedded_flow
    type: flow
    config:
      prop: value
    nodes:
      - name: jobB
        type: noop
        dependsOn:
          - jobA

      - name: jobA
        type: command
        config:
          command: pwd
5、java代码
1、新建java程序
package com.atguigu;

public class AzTest {
    public static void main(String[] args) {
        System.out.println("This is for testing!");
    }
}

2、打包成jar包

3、testJava.flow
nodes:
  - name: test_java
    type: javaprocess
    config:
      Xms: 96M
      Xmx: 200M
      java.class: com.atguigu.AzTest

4、将Jar包、flow文件和project文件打包成zip，上传到集群并执行
6、条件工作流
nodes:
 - name: JobA
   type: command
   config:
     command: sh /opt/module/write_to_props.sh

 - name: JobB
   type: command
   dependsOn:
     - JobA
   config:
     command: echo "This is JobB."
   condition: ${JobA:param1} == "AAA"

 - name: JobC
   type: command
   dependsOn:
     - JobA
   config:
     command: echo "This is JobC."
   condition: ${JobA:param1} == "BBB"
7、根据执行是否失败来判断下一个任务执行
nodes:
  - name: JobA
    type: command
    config:
      command: sh /opt/module/write_to_props.sh

  - name: JobB
    type: command
    dependsOn:
      - JobA
    config:
      command: echo "This is JobB."
    condition: ${JobA:param1} == "AAA"

  - name: JobC
    type: command
    dependsOn:
      - JobA
    config:
      command: echo "This is JobC."
    condition: ${JobA:param1} == "BBB"

  - name: JobD
    type: command
    dependsOn:
      - JobB
      - JobC
    config:
      command: echo "This is JobD."
    condition: one_success

  - name: JobE
    type: command
    dependsOn:
      - JobB
      - JobC
    config:
      command: echo "This is JobE."
    condition: all_success

  - name: JobF
    type: command
    dependsOn:
      - JobB
      - JobC
      - JobD
      - JobE
    config:
      command: echo "This is JobF."
condition: all_done


说明：
1)	all_success: 全部成功(默认)
2)	all_done：全部完成
3)	all_failed：全部失败
4)	one_success：至少一个成功
5)	one_failed：至少一个失败

7、邮件报警

1、web端配置文件
vim /opt/module/azkaban/azkaban-web-server-3.84.4/conf/azkaban.properties

#这里设置邮件发送服务器，需要 申请邮箱，切开通stmp服务，以下只是例子
mail.sender=atguigu@126.com
mail.host=smtp.126.com
mail.user=atguigu@126.com
mail.passwd=password

#这里设置工作流成功或者失败默认向哪里发送服务
job.failure.email=atguigu@126.com
job.success.email=atguigu@126.com
2、重启web服务

3、修改工作流文件flow
nodes:
  - name: jobA
    type: command
    config:
      command: echo "This is an echoed text."
      failure.emails: atguigu@126.com
      success.emails: atguigu@126.com
      notify.emails: atguigu@126.com

8、电话报警

9、YAML语法

编程每一天
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Azkaban
02-24
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies来设置依赖关系，这个依赖...
Azkaban简介
03-03
Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。Azkaban是linkin的开源项目，开发语言为Java。Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一...
大数据技术-Azkaban学习笔记
xiaoyixiao_的博客
04-05 2203
大数据技术-Azkaban学习笔记
Azkaban操作指南
qq_43523503的博客
01-12 1770
Azkaban 1 Azkaban概述 1.1 Azkaban是什么？ Azkaban是工作流调度系统。调度的是shell脚本、java程序、mr程序、hive脚本 1.2 为什么需要工作流调度系统？ 如果不用工作流调度系统的，①那就需要一个一个的去手动执行脚本；②并且可能多个任务之间存在不同的依赖关系（如果一个任务有很长的时间，那么它下面的任务就要等着它执行完毕，再去执行）；③有些任务是每天都要执行。 1.3 常见的工作流调度系统？ （1）简单的任务调度：linux自带的crontab cro
azkaban总结
weixin_47621995的博客
08-13 499
一、azkaban使用步骤： 1、创建project文件,文件内容: azkaban-flow-version: 2.0 2、创建flow文件 3、打成zip包，上传web页面 二、flow文件 1、flow文件yml格式，需要遵循以下规则 ①、大小写敏感 ②、要有缩进，同一个层次，缩进要一样 ③、缩进不能使用tab[除非使用yaml语言] ④、属性与值之间通过:分割，:后面要有空格 nodes: name: job名称 type: command #command代表使用命令 config: comm
【Azkaban】条件工作流
weixin_44168387的博客
11-09 78
PS：参数dflag=1，可以进行传递，而dflag=01，传递的参数会无法识别，暂未分析出原因，因此做了个标签进行传递。在Flow Log会提示condition不满足条件，所以JobB不执行，且Flow会是KILLED状态。Azkaban条件工作流，通过配置.flow中的condition条件来实现job控制。满足条件，JobB执行，且Flow状态为SUCCEEDED。5.将上述四个脚本压缩至zip。此处配置为了每天9点定时调度。（1）条件不成立（非1号）（2）条件成立（1号）
Azkaban的简单语法
leaxning的博客
03-30 512
azkaban的使用说明 简单介绍 1 Azkaban介绍 1）一个完整的数据分析系统通常都是由大量任务单元组成： Shell脚本程序，Java程序，MapReduce程序、Hive脚本等 2）各任务依赖关系，为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 2 常见工作流调度系统 1）简单的任务调度：直接使用Linux的Crontab来定义； 2）复杂的任务调度：使用现成的开源调度系统，比如Ooize、Azkaban、 Airflow、DolphinScheduler等。 3 Azk
Azkaban详解
wudidahuanggua的博客
10-08 4061
azkaban详细介绍
azkaban介绍
qq_57151931的博客
05-15 3066
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
azkaban4.0编译包
02-09
根据azkaban4.0源码编译好的包，可以直接安装使用。
Azkaban - 定时任务系统的配置与运行详解
11-27
Azkaban 定时任务系统配置与运行详解 Azkaban 是一个开源的定时任务系统，用于管理和执行定时任务。下面将详细介绍 Azkaban 的配置和运行过程。 一、创建 Azkaban 用户 在 Linux 系统中，需要创建一个名为 ...
大数据任务调度工具azkaban深入使用
Antg的博客
04-08 3878
大数据任务调度工具azkaban深入使用
大数据技术——Azkaban(阿兹卡班)
木野归郎
02-28 1万+
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的key:value对的方式，通过配置中的dependencies 来设置依赖关系。每个子任务相当于大任务中的一个节点，也就是，我们需要的就是一个工作流的调度器，而Azkaban就是能解决上述问题的一个调度器。根据以上业务场景： （2）任务依赖（1）任务的结果，（3）任务依赖（2）任务的结果，（4）任务依赖（3）任务的结果，（5）任务依赖（4）任务的结果。
Azkaban从入门到精通以及案例实操系列
prefect_start的博客
05-24 2802
Azkaban从入门到精通再到实战一文搞定
azkaban简介及azkaban部署、原理和使用介绍
热门推荐
wt334502157的博客
05-16 2万+
azkaban简介及azkaban部署、原理和使用介绍 azkaban简介 ​ Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。 ​ Azkaban是由Linkedin开源的一个Java项目，批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。 ​ Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。 项目官网：https://azkaban.g
工作流调度器azkaban
weixin_38168382的博客
05-30 445
---恢复内容开始--- 工作流调度器azkaban 1.1概述 1.1.1为什么需要工作流调度系统 1.一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序，java程序，mapreduce程序、hive脚本等 2. 各任务单元之间存在时间先后及前后依赖关系 3.为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 例如，我们...
全流程调度——Azkaban入门与进阶
zhangzhagn_的博客
07-29 1152
Azkaban入门与进阶
任务调度器Azkaban（Azkaban环境部署）
weixin_43689953的博客
02-08 1120
1
Azkaban 简介
weixin_30362083的博客
09-01 737
一、Azkaban 介绍 1.1 背景 一个完整的大数据分析系统，必然由很多任务单元 (如数据收集、数据清洗、数据存储、数据分析等) 组成，所有的任务单元及其之间的依赖关系组成了复杂的工作流。复杂的工作流管理涉及到很多问题： 如何定时调度某个任务？ 如何在某个任务执行完成后再去执行另一个任务？ 如何在任务失败时候发出预警？ ...... 面对这些问题，工作流调度系统应运而生。Azka...
azkaban shell
最新发布
06-14
Azkaban Shell是Azkaban项目的一部分，Azkaban是一个开源的工作流管理系统（Workflow Management System, WMS）。Azkaban Shell提供了一个命令行工具，允许用户直接与Azkaban服务器进行交互，执行工作流定义（Job ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值