大数据面试题_任务调度篇

一、大数据面试题_任务调度篇

（一）Azkaban

1、Azkaban架构的三种运行模式

在版本3.0中，Azkaban提供了以下三种模式：

1. solo server mode：最简单的模式，数据库内置的H2数据库，AzkabanWebServer和AzkabanExecutorServer都在一个进程中运行，任务量不大项目可以采用此模式。
2. two server mode：数据库为MySQL，管理服务器和执行服务器在不同进程，这种模式下，AzkabanWebServer 与AzkabanExecutorServer互不影响。
3. multiple executor mode：该模式下，AzkabanWebServer和AzkabanExecutorServer运行在不同主机上，且AzkabanExecutorServer可以有多个。

目前我们采用的是multiple executor mode方式，分别在不同的主机上部署多个AzkabanExecutorServer以应对高并发定时任务执行的情况，从而减轻单个服务器的压力。WebServer和ExecutorServer同步solo配置。

分别编辑build.gradle添加如果代码块

from('../azkaban-solo-server/build/resources/main/conf') {
      into 'conf'
}
from('../azkaban-solo-server/src/main/resources/commonprivate.properties') {
      into 'plugins/jobtypes'
}
from('../azkaban-solo-server/src/main/resources/log4j.properties') {
      into ''
}
from('../azkaban-solo-server/src/main/resources/commonprivate.properties') {
      into ''
}

构建和安装

./gradlew installDist