一、Azkaban简明笔记

最新推荐文章于 2024-08-15 09:32:40 发布

Norni

最新推荐文章于 2024-08-15 09:32:40 发布

阅读量626

点赞数

文章标签： mysql 数据库 java 服务器 linux

本文链接：https://blog.csdn.net/norni/article/details/126654304

版权

本文详细介绍了Azkaban的集群部署过程，包括MySQL配置、Executor Server和Web Server的设置。此外，还涵盖了Azkaban的使用，如HelloWorld案例、作业依赖、自动失败重试、JavaProcess作业、条件工作流、定时执行和邮箱报警等功能的实现步骤。

摘要由CSDN通过智能技术生成

1、azkaban部署

主要是集群部署安装。

1.1 准备安装包

Downloads (azkaban.github.io)

1.2 配置MySQL

启动mysql

mysql -uroot -proot
创建azkaban数据库

create database azkaban;

创建azkaban用户并赋予权限(可以不设置账号，继续使用root账号)

-- 显示相关变量
SHOW VARIABLES like 'validate_password%';

-- 设置密码有效长度1位及以上
set global validate_password.length=1;
-- 设置密码策略最低级别
set global validate_password_policy=0;
-- 创建Azkaban用户，任何主机都可以访问Azkaban，密码是azkaban
CREATE USER 'azkaban'@'%' IDENTIFIED BY 'azkaban'; 

-- 赋予Azkaban用户增删改查权限
GRANT SELECT,INSERT,UPDATE,DELETE ON azkaban.* to 'azkaban'@'%' WITH GRANT OPTION;

创建azkaban的表

source /opt/software/azkaban/azkaban-db-3.84.4/create-all-sql-3.84.4.sql;

更改mysql包大小，防止azkaban连接mysql阻塞

sudo vim /etc/my.cnf

# 在[mysqld]下面加一行max_allowed_packet=1024M

[mysqld]
max_allowed_packet=1024M

重启mysql
```
sudo systemctl restart mysqld
```

1.3 配置Executor Server

Azkaban Executor Server处理工作流和作业的实际执行。

编辑azkaban.properties

vim /opt/software/azkaban/azkaban-exec-server-3.84.4/conf/azkaban.properties

修改如下属性：

# 修改如下内容
default.timezone.id=Asia/Shanghai
azkaban.webserver.url=http://node001:8081
executor.port=12321

database.type=mysql
mysql.port=3306
mysql.host=node001
mysql.database=azkaban
mysql.user=azkaban
mysql.password=azkaban
mysql.numconnections=100

# 添加如下内容
executor.metric.reports=true
executor.metric.milisecinterval.default=60000

进入.../azkaban-exec-server-3.84.4/lib 更新 mysql-connector-java-8.0.29.jar包，使其与mysql版本匹配
同步azkaban-exec-server-3.84.4到所有节点
在各节点的**.../azkaban-exec-server-3.84.4/ **目录分别执行