大数据技术-Azkaban学习笔记

已于 2022-11-02 21:44:11 修改
阅读量2.2k 收藏 5
点赞数 2
分类专栏： BigData 文章标签： Azkaban 大数据 运维 服务器 linux
于 2022-04-05 00:50:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoyixiao_/article/details/123963646
版权

目录

Azkaban安装Linux集群版

官网下载地址https://github.com/azkaban/azkaban/tags

上传tar包

image-20220404223611320

新建一个文件夹，将tar包都解压到该目录下

tar -zxvf azkaban-db-3.84.4.tar.gz -C /opt/module/azkaban/
tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/module/azkaban/
tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/module/azkaban/

修改默认文件名，方便快捷启动

mv azkaban-exec-server-3.84.4 azkaban-exec
mv azkaban-web-server-3.84.4 azkaban-web

image-20220404223911858

配置MySQL

创建Azkaban数据库，存放Azkaban元数据信息

mysql> create database azkaban;

创建azkaban用户并赋予权限

# 设置密码有效长度4位及以上
mysql> set global validate_password_length=4;
# 设置密码策略最低级别
mysql> set global validate_password_policy=0;
# 创建azkaban用户，任何主机都可以访问Azkaban，密码是azkaban
mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban';
# 赋予azkaban用户增删改查权限
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

创建azkaban表，使用azkaban自带的数据库脚本生成数据

# 创建azkaban表
mysql> use azkaban;
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql
# 退出mysql
mysql> quit;

image-20220404224706288

更改MySQL包大小，防止azkaban连接MySQL阻塞

vim /etc/my.cnf
# 在[mysqld]下面加一行max_allowed_packet=1024M
[mysqld]
max_allowed_packet=1024M

image-20220404224755973

重启MySQL

systemctl restart mysqld

配置Executor Server

Azkaban Executor Server 处理工作流和作业的实际执行

编辑azkaban.properties

vim /opt/module/azkaban/azkaban-exec/conf/azkaban.properties

image-20220404225540290

同步azkaban-exec到所有节点

xsync /opt/module/azkaban/azkaban-exec

启动executor server

必须进入到azkaban-exec路径，分别在三台机器上启动

image-20220404225901619

bigdata100> bin/start-exec.sh
bigdata102> bin/start-exec.sh
bigdata104> bin/start-exec.sh

如果在azkaban-exec目录下出现executor.port文件，则说明启动成功

image-20220404230216106

激活executor

bigdata100> curl -G "bigdata100:12321/executor?action=activate" && echo
bigdata102> curl -G "bigdata102:12321/executor?action=activate" && echo
bigdata104> curl -G "bigdata104:12321/executor?action=activate" && echo

如果三台服务器都提示如下，则说明激活成功

image-20220404230356962

配置Web Server

Azkaban Web Server处理项目管理，身份验证，计划和执行触发

编辑azkaban.properties

vim /opt/module/azkaban/azkaban-web/conf/azkaban.properties

image-20220404230853748

StaticRemainingFlowSize：正在排队的任务数

CpuStatus：CPU占用情况

MinimumFreeMemory：内存占用情况。测试环境，必须将MinimumFreeMemory删除掉，否则它会认为集群资源不够，不执行

修改azkaban-users.xml文件，添加czs用户

vim /opt/module/azkaban/azkaban-web/conf/azkaban-users.xml

image-20220404231058290

启动web server

必须进入到主节点的azkaban-web路径启动

bigdata100> bin/start-web.sh

image-20220404231235988

访问主节点的8081端口，并用czs账号登录

image-20220404231358112

Azkaban基本使用

第一个Hello World

在自己机器上，新建一个azkaban.project文件，编辑内容如下

说明使用azkaban2.0语法

azkaban-flow-version: 2.0

新建basic.flow文件，内容如下

name：job名称

type：job类型，command表示执行作业的方式为命令

config：job配置

nodes:
  - name: jobA
    type: command
    config:
      command: echo "Hello World"

将azkaban.project和basic.flow文件压缩到一个zip文件夹，文件夹必须是英文

image-20220404232020699

image-20220404232057029

在WebServer新建项目

image-20220404232351693

给项目名称命名和添加项目描述

image-20220404232442214

上传压缩的文件夹

image-20220404232536327

执行任务流

image-20220404232617478

image-20220404232714208

image-20220404232656942

在日志中，查看运行结果

image-20220404232751392

image-20220404233003699

作业依赖操作

目标：JobA和JobB执行完毕之后，才能执行JobC

azkaban.project

azkaban-flow-version: 2.0

编写basic.flow

nodes:
  - name: jobC
    type: command
    # jobC 依赖 JobA和JobB
    dependsOn:
      - jobA
      - jobB
    config:
      command: echo "I’m JobC"

  - name: jobA
    type: command
    config:
      command: echo "I’m JobA"

  - name: jobB
    type: command
    config:
      command: echo "I’m JobB"

将azkaban.project和basic.flow文件压缩到一个zip文件夹，文件夹必须是英文

image-20220404233311234

重复上述第一个hello world操作

image-20220404233441448

image-20220404233522647

image-20220404233553687

image-20220404233633978

image-20220404233805773

自动失败重试操作

目标：如果执行任务失败，需要重试3次，重试的时间间隔10000ms

azkaban.project

azkaban-flow-version: 2.0

编写basic.flow

retries重试次数

retry.backoff：重试的时间间隔

nodes:
  - name: JobA
    type: command
    config:
      command: sh /not_exists.sh
      retries: 3
      retry.backoff: 10000

将azkaban.project和basic.flow文件压缩到一个zip文件夹，文件夹必须是英文

image-20220404235208666

重复上述第一个hello world操作

image-20220404235301393

image-20220404235338184

image-20220404235355039

image-20220404235521111

手动失败重试操作

目标：JobA->JobB（依赖于A）->JobC->JobD->JobE->JobF。生产环境中任何Job都有可能挂掉，可以根据需求执行想要执行的Job

azkaban.project

azkaban-flow-version: 2.0

编写basic.flow

retries重试次数

retry.backoff：重试的时间间隔

nodes:
  - name: JobA
    type: command
    config:
      command: echo "This is JobA."

  - name: JobB
    type: command
    dependsOn:
      - JobA
    config:
      command: echo "This is JobB."

  - name: JobC
    type: command
    dependsOn:
      - JobB
    config:
      command: echo "This is JobC."

  - name: JobD
    type: command
    dependsOn:
      - JobC
    config:
      command: echo "This is JobD."

  - name: JobE
    type: command
    dependsOn:
      - JobD
    config:
      command: echo "This is JobE."

  - name: JobF
    type: command
    dependsOn:
      - JobE
    config:
      command: echo "This is JobF."

将azkaban.project和basic.flow文件压缩到一个zip文件夹，文件夹必须是英文

image-20220404235706559

重复上述第一个hello world操作

image-20220404235741944

image-20220404235818759

image-20220405000024458

image-20220405000128967

JavaProcess作业类型操作

JavaProcess类型可以运行一个自定义主类方法，type类型为javaprocess，可用的配置为

  • Xms：最小堆
  • Xmx：最大堆
  • classpath：类路径
  • java.class：要运行的Java对象，其中必须包含Main方法
  • main.args：main方法的参数

创建一个azkaban的maven工程

image-20220405001035466

创建测试类

public class AzTest {
    public static void main(String[] args) {
        System.out.printf("this is azkaban java process test");
    }
}

打成jar包

maven的pom文件添加如下内容,然后maven package

    <build>
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-assembly-plugin</artifactId>
                <version>3.0.0</version>
                <configuration>
                    <descriptorRefs>
                        <descriptorRef>jar-with-dependencies</descriptorRef>
                    </descriptorRefs>
                </configuration>
                <executions>
                    <execution>
                        <id>make-assembly</id>
                        <phase>package</phase>
                        <goals>
                            <goal>single</goal>
                        </goals>
                    </execution>
                </executions>
            </plugin>
        </plugins>
    </build>

image-20220405001131412

新建basic.flow文件

azkaban-flow-version: 2.0

新建basic.flow文件

Xms：最小堆

Xmx：最大堆

java.class：要运行的Java对象，其中必须包含Main方法

nodes:
  - name: test_java
    type: javaprocess
    config:
      Xms: 96M
      Xmx: 200M
      java.class: czs.study.azkaban.AzTest

将azkaban.project和basic.flow文件压缩到一个zip文件夹，文件夹必须是英文

image-20220405002059846

image-20220405001411989

重复上述第一个hello world操作

image-20220405002215125

Azkaban条件工作流

条件工作流功能允许用户自定义执行条件来决定是否运行某些Job。条件可以由当前Job的父Job输出的运行时参数构成，也可以使用预定义宏。在这些条件下，用户可以在确定Job执行逻辑时获得更大的灵活性，例如，只要父Job之一成功，就可以运行当前Job

运行时参数操作

基本原理：父Job将参数写入JOB_OUTPUT_PROP_FILE环境变量所指向的文件，子Job使用 ${jobName:param}来获取父Job输出的参数并定义执行条件，支持的条件运算符如下：

==	等于
!=	不等于
>	大于
>=	大于等于
<	小于
<=	小于等于
&& 与
||	或
!	非

目标：JobA执行一个shell脚本，JobB执行一个shell脚本，但JobB不需要每天都执行，而只需要每个周一执行。

新建JobA.sh

#!/bin/bash
echo "do JobA"
wk=`date +%w`
echo "{\"wk\":$wk}" > $JOB_OUTPUT_PROP_FILE

新建JobB.sh

#!/bin/bash
echo "do JobB"

新建condition.flow

nodes:
 - name: JobA
   type: command
   config:
     command: sh JobA.sh

 - name: JobB
   type: command
   dependsOn:
     - JobA
   config:
     command: sh JobB.sh
   condition: ${JobA:wk} == 1

将JobA.sh、JobB.sh、condition.flow和azkaban.project打包成condition.zip

image-20220405003419301

创建condition项目->上传condition.zip文件->执行作业

image-20220405002926180

预定义宏操作

Azkaban中预置了几个特殊的判断条件，称为预定义宏，预定义宏会根据所有父Job的完成情况进行判断，再决定是否执行。可用的预定义宏如下：

  • all_success: 表示父Job全部成功才执行(默认)
  • all_done：表示父Job全部完成才执行
  • all_failed：表示父Job全部失败才执行
  • one_success：表示父Job至少一个成功才执行
  • one_failed：表示父Job至少一个失败才执行

目标：JobA执行一个shell脚本，JobB执行一个shell脚本，JobC执行一个shell脚本，要求JobA、JobB中有一个成功即可执行

新建JobA.sh

#!/bin/bash
echo "do JobA"

新增JobC.sh

#!/bin/bash
echo "do JobC"

新建macro.flow

nodes:
 - name: JobA
   type: command
   config:
     command: sh JobA.sh

 - name: JobB
   type: command
   config:
     command: sh JobB.sh

 - name: JobC
   type: command
   dependsOn:
     - JobA
     - JobB
   config:
     command: sh JobC.sh
   condition: one_success

JobA.sh、JobC.sh、macro.flow、azkaban.project文件，没有JobB.sh，打包

image-20220405003337518

创建macro项目->上传macro.zip文件->执行作业

image-20220405003608325

image-20220405003643034

Azkaban邮件告警

QQ邮箱开启SMTP服务

进入QQ邮箱-账号即可看到，一定要记住生成的授权码

image-20220405003922680

在azkaban-web节点上，编辑azkaban.properties

vim /opt/module/azkaban/azkaban-web/conf/azkaban.properties

image-20220405004405161

保存并重启web-server

bigdata100> bin/shutdown-web.sh
bigdata100> bin/start-web.sh

image-20220405004512055

编写basic.flow

nodes:
  - name: jobA
    type: command
    config:
      command: echo "This is an email test."

将azkaban.project和basic.flow压缩成email.zip

image-20220405004837319

测试邮箱告警效果

image-20220405004756560

image-20220405004823915

笑一笑、
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Azkaban元数据库分析
杨鑫newlife的专栏
09-19 4838
一、简述: Azkaban3 共 15 张表，分别用于存储任务调度，定时任务，触发器，项目 Project,工作 Flows，作业 Jobs 等。 二、详细说明: l 表:active_executing_flows active_executing_flows 运行时的执行流 exec_id 执行的 id ...
Azkaban
sinat_27023109的博客
04-11 522
azkaban安装配置 一：前提条件： 安装MySQL 安装Git yum install git 二：azkaban安装 官网下载azkaban-3.70.0.tar.gz，rz上传至服务器/home/hadoop/apps，解压 tar -zxvf azkaban-3.70.0.tar.gz 在azkaban-3.70.0下编译 vi azkaban-3.70.0/azkaba...
2024年大数据最全大数据任务调度器 —— Azkaban 3(1)，2024年最新腾讯T3大牛总结
最新发布
2401_84590306的博客
05-09 260
启动完成后，Executor server 服务并没有运行，需要通过向其发送 GET 请求进行激活。（主机地址修改成自己的），进入 Azkaban 的 WEB 界面，输入账号密码进入系统。首先，我们需要先安装好 MySQL，可以参考我的这篇博客 ——添加一个管理员用户，账号密码随意，WEB 界面登录时使用。，Azkaban 运行过程中会产生阻塞，故将该参数调大。进入 Azkaban 的 WEB 系统界面，提交项目。激活完成后，我们可以进入 MySQL 中查询。创建完成后，将这两个文件添加到压缩文件中。
azkaban的概况
weixin_45896475的博客
03-22 317
Azkaban的性质 azkaban是一个任务调度,管理系统,可以帮用户管理,调度各种运算任务的一个web服务器 可以调度任何任务,只要你的任务能用脚本启动 azkaban的类似的产品还有很多,例如hadoop生态中原生的:oozie,areflow 局限性 目前azkaban只支持mysql作为元数据管理系统,必须安装mysql服务器 角色 executor server 有好几个是真正执行的程...
大数据_Azkaban
一叶知秋
07-27 114
大数据_Azkaban需求常见工作流调度系统简介安装编译Azkaban 单服务模式安装与使用Azkaban 两个服务器模式安装与使用实战Command 类型单一 Job 示例Command 类型多 Job 示例HDFS 操作任务MapReduce 任务Hive ​脚本任务Azkaban 的定时任务 需求 一个完整的数据分析系统通常都是由大量任务单元组成： shell脚本程序 java程序 mapr...
大数据技术之Azkaban.docx
10-24
2. 解压 Azkaban 安装包：解压 azkaban-web-server-2.5.0.tar.gz、azkaban-executor-server-2.5.0.tar.gz、azkaban-sql-script-2.5.0.tar.gz 到/opt/module/azkaban 目录下。 3. 对解压后的文件重新命名：将 azkaban...
大数据技术之Azkaban3.X视频教程
07-08
对于大数据项目而言，工作流之间互相依赖且通常在零点左右调度执行，一个可以完善部署工作流且能实现报警功能的调度系统十分重要。 本套教程重点讲解Azkaban的安装部署及进阶使用，内容涵盖：工作流调度系统简介、...
【学习笔记】大数据技术之Azkaban
prague6695的博客
04-27 742
Azkaban第1章 Azkaban概论1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 Azkaban与Oozie对比2.1 集群模式安装2.1.1 上传tar包jobC 依赖 JobA和JobB 第1章 Azkaban概论 1.1 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： Shell脚本程序，Java程序，MapReduce程序、Hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度
azkaban-db-亲测可用
12-24
azkaban-db-亲测可用使用，这个压缩包是为了在使用azkaban的时候在mysq当中创建相应的表，很多sql
azkaban部署文档
qq_28549905的博客
04-23 346
azkaban部署文档 1.下载 git clone https://github.com/azkaban/azkaban.git 2.编译 Build Azkaban ./gradlew build Clean the build ./gradlew clean Build and install distributions ./gradlew instal...
调研azkaban内部数据库几张table
JiajunBernoulli的博客
12-20 946
为了统计azkaban任务调度的情况，需要分析azkaban的数据库，于是调研了一下内部数据库的情况。 我这边使用3.38.0版本，数据存在mysql当中，本次调研了其中四张表 projects desc projects;这张表记录着我们创建的project，name就是我们指定的名字拼接上日期和尾缀。 注意就叫作id，实际是project_id project_flows desc project_flows;这里的preject_id就是projects中的id flow_id就是我
azkaban入门看这一篇就够了
王傲旗的大数据之路
12-06 369
1.先来了解一下工作流 工作流产生背景 工作流（Workflow），指“业务过程的部分或整体在计算机应用环境下的自动化”。是对工作流程及其各操作步骤之间业务规则的抽象、概括描述。工作流解决的主要问题是：为了实现某个业务目标，利用计算机软件在多个参与者之间按某种预定规则自动传递文档、信息或者任务。 一个完整的数据分析系统通常都是由多个前后依赖的模块组合构成的：数据采集、数据预处理、数据分析、数据展...
[大数据]Azkaban
RegulusF的博客
05-30 191
1.概述 1.1 Azkaban Azkaban是由 Linkedin公司推出的一个批量工作流任务调度器，主要用于在一个工作流内以一个特定的顺序运行一组工作和流程，它的配置是通过简单的 key:value对的方式，通过配置中的 Dependencies 来设置依赖关系。 Azkaban使用 job配置文件建立任务之间的依赖关系，并提供一个易于使用的 web用户界面维护和跟踪你的工作流。 1.2 为什么需要工作调度流系统 一个完整的数据分析系统通常都是由大量任务单元组成：Shell脚本程序， Java程序，
大数据任务调度器 —— Azkaban 3
2401_84165953的博客
04-27 930
在 Azkaban 中有三个安装包，如下所示：其中azkaban-db是用于初始化 MySQL 的脚本，是执行服务器的安装包，是web serverWEB 服务器的安装包。
【Azkaban】Azkaban入门解析
Together
12-07 7358
一、Azkaban概述 Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程；Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流 二、Azkaban的功能特点 1、提供功能清晰，简单易用的Web UI界面 2、方便上传工作流 3、提供job配置文件快速建立任务和任务之...
azkaban的概览
hello world
09-24 147
1、调度系统背景 一个完整的大数据分析系统通常都是由大量任务单元组成：shell脚本程序，mapreduce程序、 hive脚本、spark程序等。 各任务单元之间存在时间先后及前后依赖关系:先后关系、依赖关系、定时执行。 为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。 2、常见调度系统 简单的任务调度：直接使用linux的crontab来定义、shell和python脚本...
尚硅谷大数据技术解析：Azkaban工作流调度系统
"尚硅谷大数据技术之Azkaban" Azkaban是一个由LinkedIn开发的批量工作流任务调度系统，专门设计用于在特定顺序中运行一系列工作和流程。它以简单的键值对配置方式设定任务间的依赖关系，通过配置文件中的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值