azkaban的executor的分布式(集群)部署

最近在做azkaban的二次开发被azkaban的executor的分布式部署虐了一会儿,遇到问题时在网上也找不到解决方法,于是搞好之后决定写下了大体的做法:

azkaban本身是默认不支持分布式的executor的要想让其支持分布式的执行器首先得现在web服务器的配置文件azkaban.properties下面增添一行

azkaban.use.multiple.executors=true

这是最基本的配置了

然后当你的执行器开启之后要在数据库中手动把executor表里的所有要用的执行器的active字段置为1,这表示它们是可用的

最后很重要也是如果出错很难追溯的一点,你部署执行器的机器(我是在Linux下部署的)的/etc/hosts和/etc/hostname里一定要写好对应的关系,web-server部署的机器的/etc/hosts里得有所有执行器部署在的机器的ip和主机名映射,这样它才能找得到所有的执行器~

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
azkaban的完全分布式部署需要azkaban-solo、azkaban-web-server、azkaban-exec-server和mysql组件。 首先,需要将azkaban-solo解压并重命名为azkaban-solo-server。然后,将azkaban-web-server和azkaban-exec-server复制到不同的服务器上。接下来,需要在每个服务器上配置azkaban的环境变量,并在azkaban-solo-server目录下的conf文件夹中编辑azkaban.properties文件。 在azkaban.properties文件中,需要设置以下参数: - azkaban.executor.enabled=true # 启用执行器 - azkaban.webserver.external.hostname=hostname # 设置azkaban-web-server的主机名 - azkaban.webserver.external.port=port # 设置azkaban-web-server的端口号 - azkaban.executor.port=port # 设置azkaban-exec-server的端口号 - azkaban.database.type=mysql # 设置数据库类型为mysql - azkaban.database.host=database_host # 设置数据库主机名 - azkaban.database.port=database_port # 设置数据库端口号 - azkaban.database.user=database_user # 设置数据库用户名 - azkaban.database.password=database_password # 设置数据库密码 最后,在mysql数据库中创建一个名为azkaban的数据库,并在azkaban-web-server和azkaban-exec-server的conf文件夹中分别编辑azkaban.properties文件,设置以下参数: - database.type=mysql # 设置数据库类型为mysql - database.host=database_host # 设置数据库主机名 - database.port=database_port # 设置数据库端口号 - database.user=database_user # 设置数据库用户名 - database.password=database_password # 设置数据库密码 - azkaban.name=azkaban-web-server # 设置azkaban-web-server的名称 - azkaban.executor.name=azkaban-exec-server # 设置azkaban-exec-server的名称 - azkaban.webserver.url=http://web_server_host:web_server_port # 设置azkaban-web-server的URL 完成以上配置后,启动azkaban-solo-server、azkaban-web-server和azkaban-exec-server,即可实现azkaban的完全分布式部署

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值