027 大数据之Azkaban调度系统

已于 2022-06-01 15:21:13 修改
阅读量872 收藏 2
点赞数
分类专栏： 大数据 文章标签： Azkaban
于 2022-05-14 21:53:25 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24964575/article/details/124773906
版权

1、Azkaban 3.0 中文文档

大数据平台 —— 调度系统之Azkaban
azkaban-web和azkaban-exec的一键启动和关闭(shell脚本)
解决 Azkaban Executor 启动后不会自动激活
Azkaban报错-azkaban.executor.ExecutorManagerException: No active executors found

azkaban启动和关闭脚本

#!/bin/bash
 
AZKABAN_WEB_PATH=/opt/module/azkaban/azkaban-web-server-3.84.4
AZKABAN_EXEC_PATH=/opt/module/azkaban/azkaban-exec-server-3.84.4
 
case $1 in
 
"start")
#开启3个exec server
	echo "-----------------------starting exec-------------------------"
        for host in hadoop102 hadoop103 hadoop104
	do
		echo "-----$host-----"
		    # eof标记前加'-'抑制首行Tab字符
			ssh -T $host <<-eof
			cd ${AZKABAN_EXEC_PATH}
			rm -f executorServerLog*
			bin/start-exec.sh
	                exit
	                eof
	done
	 
	#修改mysql中的值
	echo "---------------------waiting for executors-----------------------"
	sleep 30s
	echo "---------------------updata mysql columns-----------------------"
	#ssh hadoop102 "/usr/bin/mysql -uazkaban -p000000 -e 'update azkaban.executors set active =1'" > /dev/null 2>&1
	for host in hadoop102 hadoop103 hadoop104
	do
		echo "---------------------$host-----------------------"
			# eof标记前加'-'抑制首行Tab字符
			ssh -T  $host <<-eof
			curl -G "$host:12321/executor?action=activate" && echo
	                exit
	                eof
	done
	 
	#启动web
	echo "-----------------------starting web-------------------------"
	cd ${AZKABAN_WEB_PATH}
	bin/start-web.sh
 
;;
 
 
"stop")
	echo "--------------------------stoping web-------------------------"
	${AZKABAN_WEB_PATH}/bin/shutdown-web.sh
	for host in hadoop102 hadoop103 hadoop104
	do
		echo "-------------------------stoping executor server in $host-----------------------"
		ssh $host "${AZKABAN_EXEC_PATH}/bin/shutdown-exec.sh"
	 
	done
;;
esac

2、调度实战（先准备好log数据到hdfs，db数据到mysql）

那些年走过的azkaban的坑
gmall.flow

nodes:
  - name: mysql_to_hdfs
    type: command
    config:
     command: /home/atguigu/bin/mysql_to_hdfs.sh all ${dt}
    
  - name: hdfs_to_ods_log
    type: command
    config:
     command: /home/atguigu/bin/hdfs_to_ods_log.sh ${dt}
     
  - name: hdfs_to_ods_db
    type: command
    dependsOn: 
     - mysql_to_hdfs
    config: 
     command: /home/atguigu/bin/hdfs_to_ods_db.sh all ${dt}
  
  - name: ods_to_dim_db
    type: command
    dependsOn: 
     - hdfs_to_ods_db
    config: 
     command: /home/atguigu/bin/ods_to_dim_db.sh all ${dt}

  - name: ods_to_dwd_log
    type: command
    dependsOn: 
     - hdfs_to_ods_log
    config: 
     command: /home/atguigu/bin/ods_to_dwd_log.sh all ${dt}
    
  - name: ods_to_dwd_db
    type: command
    dependsOn: 
     - hdfs_to_ods_db
    config: 
     command: /home/atguigu/bin/ods_to_dwd_db.sh all ${dt}
    
  - name: dwd_to_dws
    type: command
    dependsOn:
     - ods_to_dim_db
     - ods_to_dwd_log
     - ods_to_dwd_db
    config:
     command: /home/atguigu/bin/dwd_to_dws.sh all ${dt}
    
  - name: dws_to_dwt
    type: command
    dependsOn:
     - dwd_to_dws
    config:
     command: /home/atguigu/bin/dws_to_dwt.sh all ${dt}
    
  - name: dwt_to_ads
    type: command
    dependsOn: 
     - dws_to_dwt
    config:
     command: /home/atguigu/bin/dwt_to_ads.sh all ${dt}
     
  - name: hdfs_to_mysql
    type: command
    dependsOn:
     - dwt_to_ads
    config:
      command: /home/atguigu/bin/hdfs_to_mysql.sh all

gmall.project

azkaban-flow-version: 2.0

查看各节点的ID
在这里插入图片描述
方案一：指定azkaban执行脚本的节点
在这里插入图片描述
方案二：在Executor所在所有节点部署任务所需脚本和应用。

# 分发脚本、sqoop、spark、my_env.sh
[atguigu@hadoop102 ~]$ xsync /home/atguigu/bin/
[atguigu@hadoop102 ~]$ xsync /opt/module/hive
[atguigu@hadoop102 ~]$ xsync /opt/module/sqoop
[atguigu@hadoop102 ~]$ xsync /opt/module/spark
[atguigu@hadoop102 ~]$ sudo /home/atguigu/bin/xsync /etc/profile.d/my_env.sh

调度执行状态
在这里插入图片描述

PS：Azkaban配置

解压Azkaban部署包

[atguigu@hadoop102 azkaban]$ ll
总用量 12
drwxr-xr-x. 2 atguigu atguigu 4096 4月  18 2020 azkaban-db-3.84.4
drwxr-xr-x. 6 atguigu atguigu 4096 4月  18 2020 azkaban-exec-server-3.84.4
drwxr-xr-x. 6 atguigu atguigu 4096 4月  18 2020 azkaban-web-server-3.84.4

配置MySQL

# 登陆MySQL，创建Azkaban数据库
mysql> create database azkaban;
Query OK, 1 row affected (0.00 sec)
# 创建Azkaban用户，任何主机都可以访问Azkaban，密码是000000
mysql> CREATE USER 'azkaban'@'%' IDENTIFIED BY '000000';
Query OK, 0 rows affected (0.06 sec)
# 赋予Azkaban用户增删改查权限 
mysql> GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;
Query OK, 0 rows affected (0.04 sec)
# 创建Azkaban表，完成后退出MySQL
mysql> use azkaban;
Database changed
mysql> source /opt/module/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql

# 更改MySQL包大小；防止Azkaban连接MySQL阻塞
[atguigu@hadoop102 azkaban]$ cat /etc/my.cnf
# For advice on how to change settings please see
# http://dev.mysql.com/doc/refman/5.7/en/server-configuration-defaults.html

[mysqld]
# 更改MySQL包大小；防止Azkaban连接MySQL阻塞
max_allowed_packet=1024M
#skip-grant-tables
#
# Remove leading # and set to the amount of RAM for the most important data
# cache in MySQL. Start at 70% of total RAM for dedicated server, else 10%.
# innodb_buffer_pool_size = 128M
#
# Remove leading # to turn on a very important data integrity option: logging
# changes to the binary log between backups.
# log_bin
#
# Remove leading # to set options mainly useful for reporting servers.
# The server defaults are faster for transactions and fast SELECTs.
# Adjust sizes as needed, experiment to find the optimal values.
# join_buffer_size = 128M
# sort_buffer_size = 2M
# read_rnd_buffer_size = 2M
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock

# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0

log-error=/var/log/mysqld.log
pid-file=/var/run/mysqld/mysqld.pid
# 重启MySQL
[atguigu@hadoop102 azkaban]$ sudo systemctl restart mysqld

配置Executor Server

# 编辑azkaban.properties
[atguigu@hadoop102 azkaban]$ cat /opt/module/azkaban/azkaban-exec-server-3.84.4/conf/azkaban.properties 
# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
# 修改时区
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Where the Azkaban web server is located
azkaban.webserver.url=http://hadoop102:8081
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban plugin settings
azkaban.jobtype.plugin.dir=plugins/jobtypes
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
# 修改主机
mysql.host=hadoop102
mysql.database=azkaban
mysql.user=azkaban
# 修改密码
mysql.password=000000
mysql.numconnections=100
# Azkaban Executor settings
executor.maxThreads=50
executor.flow.threads=30
# 设置端口
executor.port=12321

# 同步azkaban-exec到所有节点
[atguigu@hadoop102 azkaban]$ xsync /opt/module/azkaban/azkaban-exec-server-3.84.4/

启动executor server

[atguigu@hadoop102 azkaban-exec-server-3.84.4]$ pwd
/opt/module/azkaban/azkaban-exec-server-3.84.4
# 在三台机器上分别启动
[atguigu@hadoop102 azkaban-exec-server-3.84.4]$ bin/start-exec.sh
[atguigu@hadoop103 azkaban-exec-server-3.84.4]$ bin/start-exec.sh
[atguigu@hadoop104 azkaban-exec-server-3.84.4]$ bin/start-exec.sh
# azkaban启动成功标识
[atguigu@hadoop103 azkaban-exec-server-3.84.4]$ ll
-rw-rw-r--. 1 atguigu atguigu     5 5月  14 21:31 executor.port

激活executor

[atguigu@hadoop102 azkaban-exec-server-3.84.4]$ curl -G "hadoop102:12321/executor?action=activate" && echo
{"status":"success"}
[atguigu@hadoop103 azkaban-exec-server-3.84.4]$ curl -G "hadoop102:12321/executor?action=activate" && echo
{"status":"success"}
[atguigu@hadoop104 azkaban-exec-server-3.84.4]$ curl -G "hadoop102:12321/executor?action=activate" && echo
{"status":"success"}

配置Web Server

[atguigu@hadoop102 azkaban-exec-server-3.84.4]$ cat /opt/module/azkaban/azkaban-web-server-3.84.4/conf/azkaban.properties 
# Azkaban Personalization Settings
azkaban.name=Test
azkaban.label=My Local Azkaban
azkaban.color=#FF3601
azkaban.default.servlet.path=/index
web.resource.dir=web/
# 更改时区
default.timezone.id=Asia/Shanghai
# Azkaban UserManager class
user.manager.class=azkaban.user.XmlUserManager
user.manager.xml.file=conf/azkaban-users.xml
# Loader for projects
executor.global.properties=conf/global.properties
azkaban.project.dir=projects
# Velocity dev mode
velocity.dev.mode=false
# Azkaban Jetty server properties.
jetty.use.ssl=false
jetty.maxThreads=25
jetty.port=8081
# Azkaban Executor settings
# mail settings
mail.sender=
mail.host=
# User facing web server configurations used to construct the user facing server URLs. They are useful when there is a reverse proxy between Azkaban web servers and users.
# enduser -> myazkabanhost:443 -> proxy -> localhost:8081
# when this parameters set then these parameters are used to generate email links.
# if these parameters are not set then jetty.hostname, and jetty.port(if ssl configured jetty.ssl.port) are used.
# azkaban.webserver.external_hostname=myazkabanhost.com
# azkaban.webserver.external_ssl_port=443
# azkaban.webserver.external_port=8081
job.failure.email=
job.success.email=
lockdown.create.projects=false
cache.directory=cache
# JMX stats
jetty.connector.stats=true
executor.connector.stats=true
# Azkaban mysql settings by default. Users should configure their own username and password.
database.type=mysql
mysql.port=3306
# 更改主机
mysql.host=hadoop102
mysql.database=azkaban
mysql.user=azkaban
# 更改密码
mysql.password=000000
mysql.numconnections=100
#Multiple Executor
azkaban.use.multiple.executors=true
#StaticRemainingFlowSize：正在排队的任务数；
#CpuStatus：CPU占用情况
#MinimumFreeMemory：内存占用情况。测试环境，必须将MinimumFreeMemory删除掉，否则它会认为集群资源不够，不执行
azkaban.executorselector.filters=StaticRemainingFlowSize,CpuStatus
azkaban.executorselector.comparator.NumberOfAssignedFlowComparator=1
azkaban.executorselector.comparator.Memory=1
azkaban.executorselector.comparator.LastDispatched=1
azkaban.executorselector.comparator.CpuUsage=1

[atguigu@hadoop102 conf]$ cat /opt/module/azkaban/azkaban-web-server-3.84.4/conf/azkaban-users.xml 
<azkaban-users>
  <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/>
  <user password="metrics" roles="metrics" username="metrics"/>
  <!--添加atguigu用户-->
  <user password="atguigu" roles="metrics,admin" username="atguigu"/>
  <role name="admin" permissions="ADMIN"/>
  <role name="metrics" permissions="METRICS"/>
</azkaban-users>

启动web server

[atguigu@hadoop102 azkaban-web-server-3.84.4]$ pwd
/opt/module/azkaban/azkaban-web-server-3.84.4
[atguigu@hadoop102 azkaban-web-server-3.84.4]$ bin/start-web.sh

使用jieky登录：http://hadoop102:8081

大数据之Azkaban部署
FunnyPrince_的博客
10-23 1263
目录一、Azkaban概论1.1 为什么需要工作流调度系统1.2 常见工作流调度系统1.3 Azkaban 与 Oozie 对比二、Azkaban集群安装2.1 集群模式安装2.1.1 安装包准备2.1.2 配置 MySQL2.1.3 配置 Executor Server2.1.4 配置 Web Server2.2 Work Flow 案例2.2.1 HelloWorld2.2.2 作业依赖案例2.2.3 自动失败重试案例2.2.4 手动失败重试案例三、Azkaban进阶3.1 JavaProcess 作
Azkaban 看这一篇就够了！任务调度平台的搭建，使用，以及API开发
JavaBuilt的博客
02-08 7558
写在前面的话 当你的才华还撑不起你的野心时，那你就应该静下心来学习。每次脑子都会有很多 法，每次做了之后，还是觉得需要沉淀下来提升自己更加重要。著名的红叶子理论：一个人职业的成功不在于红叶子的数目多少，而在于他是否具备一片特别硕大的红叶子，这片特别硕大的红叶子不是与生俱来，需要个人的不断努力，准确地识别到最适合发展的红叶子。 本文内容较多，建议关注不迷路，更多优质内容等着你 目录大纲 0 写在前...
Azkaban3.2调度系统部署
10-24
azkaban3.2调度系统已编译，可直接加压部署，附部署文档
Azkaban工作流调度器
diyingshou8608的博客
07-10 157
Azkaban工作流调度器 在Hadoop领域常用的工作流调度系统 Oozie,Azkaban,Cascading,Hamake等等。性能对比：安装：创建ssl配置keytool -keystore keystore -alias jetty...
Azkaban：强大的开源工作流调度系统
最新发布
hello.reader
09-05 1068
​ Azkaban是一套简单的任务调度服务，整体包括三部分webserver、dbserver、executorserver。 ​ Azkaban是由Linkedin开源的一个Java项目，批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程 ...
调度系统之Azkaban
youziguo的专栏
07-30 1076
用户通过 Web 界面或编写配置文件定义工作流。工作流由多个任务组成，这些任务可以有依赖关系。
Azkaban工作流调度系统
qq_56870570的博客
09-16 400
Azkaban 一个批量工作流任务调度器 为什么需要工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： Shell脚本程序，Java程序，MapReduce程序、Hive脚本等 2）各任务单元之间存在时间先后及前后依赖关系 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行； 常见工作流调度系统 1）简单的任务调度：直接使用Linux的Crontab来定义； 2）复杂的任务调度：开发调度平台或使用现成的开源调度系统，比如Ooize、Azkaba.
azkaban玩转热门大数据调度系统视频教程
10-21
手把手视频详细讲解项目开发全过程... 2.Azkaban调度Shell脚本实战 3.Azkaban调度HDFS实战 4.Azkaban调度MapReduce实战 5.Azkaban调度Hive实战 6.Azkaban子流的实战 7.Azkaban复杂调度实战 8.Azkaban定时调度实战
大数据海量任务调度和智能运维实践-SACC2021年中国系统架构师大会.pdf
04-29
综上所述，本文详细展示了网易有数在使用和优化Azkaban工作流调度引擎方面的经验，以及他们如何通过自主研发的系统和工具来提升大数据平台的调度效率和运维质量。这一系列的实践和改进为我们提供了宝贵的知识和启示...
Azkaban 大数据任务调度器
09-28
Azkaban大数据任务调度器是一种高效的工作流管理系统，专门设计用于解决复杂的数据处理流程中的任务调度问题。在大数据处理场景中，通常会涉及到多个独立或相互依赖的任务单元，如Shell脚本、Java程序、MapReduce...
azkaban 3.43自动化安装脚本
06-14
本脚本为azkaban3.43自动化部署脚本，需先自己安装mysql数据库并执行相关的导入sql脚本create-all-sql-3.43.sql，之后用root用户执行自动化脚本：azkaban3.43_install.sh（执行过程中会提示输入项目的数据库信息：ip,user,password,database.创建数据库时请记录!）
全流程调度-Azkaban介绍和使用
迷雾总会解
06-13 3016
Azkaban是由Linkedin公司推出的一个批量工作流任务调度器，用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。Azkaban WebServer需要根据Executor Server的运行状态信息，选择一个合适的Executor Server来运行WorkFlow，然后会将提交到队列中的WorkFlow调度到选定的Executor Server上运行。
工作流调度器azkaban笔记（2) —— 案例测试
一角残叶的博客
09-06 425
1
大数据任务调度器 —— Azkaban 3.0 进阶应用
JIE的博客 --- moon_coder
04-12 1546
使用condition配置项来指定设置的条件，通常会配合运行参数一起使用。运行参数是 Azkaban 允许用户在同一个工作流中定义的环境变量，将其写入到文件中，提供给其它 Job 进行使用。例如：在JobA中定义的变量，能够在JobB中进行读取并使用。假设我们当前要实现JobAJobB。其中JobB依赖于JobA，且JobB必须在周日执行。那么，根据需求，配置了如下flownodes:- JobA # 判断是否为周日 condition: ${JobA : week} == 7在JobA中执行的。
Azkaban -- Azkaban的安装和使用
TheBigBlue的博客
06-10 1249
向导Azkaban介绍特性安装下载编译安装验证使用使用说明单任务多任务定时调度调度Java、MapReduce、Hive、Spark等二次开发官方API开源的包装好的API Azkaban介绍   Azkaban是在LinkedIn上创建的用于运行Hadoop作业的批处理工作流作业调度程序。Azkaban通过工作依赖性解决订购问题，并提供易于使用的Web用户界面来维护和跟踪您的工作流程。   Azkaban的设计首先考虑了可用性。它已经在LinkedIn上运行了几年，并驱动了许多Hadoop和数据仓库流程。
azkaban3.0调度spark
叶梨子
01-27 335
源码配置：https://github.com/azkaban/azkaban/blob/master/az-hadoop-jobtype-plugin/src/main/java/azkaban/jobtype/SparkJobArg.java google和官方文档都没有说明spark的调度方法，因此这个需要自己从源码处自己研究怎么写 配置过程 1.plugins/jobtypes下几个文件 commonprivate.properties和common.properties内的hadoop.home
Azkaban大数据调度系统全流程实战教程
该视频教程名为"azkaban玩转热门大数据调度系统", 主要针对对大数据和工作流调度感兴趣的学习者，特别是对大数据有热情的在校学生、应届毕业生以及希望在大数据领域进一步发展的在职人员。课程内容详实且实用，适合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值