azkaban mysql参数_Azkaban 3入门简介

本帖最后由 nettman 于 2018-10-25 17:38 编辑

问题导读

1.Azkaban是什么？

2.Azkaban解决了什么问题？

3.Azkaban有哪些特性？

关注最新经典文章，欢迎关注公众号

导读

About云铁粉对Azkaban感兴趣，想了解这方面的资料。我们知道无论是哪个比较火的组件，都是需要兼容Hadoop的，无论是Spark，Flink等，那么Hadoop肯定也是需要使用的，那么该如何使用的更有效率，Azkaban 是一个非常重要的组件。下面是关于Azkaban 3的内容。

Azkaban是一个在LinkedIn开发用来跑Hadoop作业的一款批处理作业调度框架，Azkaban通过作业的依赖关系解决了作业顺序和提供了更加方便的Web用户界面来维持和跟踪你的作业，根据Azkaban官网官方文档翻译而来。Azkaban是由LinkedIn实现的为了解决hadoop作业依赖问题一个批处理调度平台。如果需要我们的作业按照顺序执行，从作业中ETL(抽取extract、转换transform、加载load)数据来分析产品，那么Azkaban将是一个很好的选择。 随着hadoop用户数量的增长，从最初的单个服务器的解决方案，Azkaban已经演变成更加健壮的解决方案。

介绍

Azkaban是一个在LinkedIn开发用来跑Hadoop作业的一款批处理作业调度框架，Azkaban通过作业的依赖关系解决了作业顺序和提供了更加方便的Web用户界面来维持和跟踪你的作业

特性兼容所有版本的 Hadoop

基于 Web 的易用 UI

简单的 Web 和 HTTP 工作流上传

项目工作空间

工作流调度

模块化和插件化

支持认证和授权

可跟踪用户行为

失败和成功时的邮件提醒

SLA 警告和自动终止

失败作业的重试概述

Azkaban是由LinkedIn实现的为了解决hadoop作业依赖问题一个批处理调度平台。如果需要我们的作业按照顺序执行，从作业中ETL(抽取extract、转换transform、加载load)数据来分析产品，那么Azkaban将是一个很好的选择。

随着hadoop用户数量的增长，从最初的单个服务器的解决方案，Azkaban已经演变成更加健壮的解决方案。

Azkaban包含了3个关键的组件关系型数据库服务器 (MySQL)

Azkaban Web服务器 (AzkabanWebServer)

Azkaban 执行服务器 (AzkabanExecutorServer)

1.png (29.56 KB, 下载次数: 1)

2018-10-25 17:07 上传

###关系型数据库(MySQL) Azkaban使用MySQL来存储他本身的状态信息，同样的AzkabanWebServer 和AzkabanExecutorServer也使用数据库。

####AzkabanWebServer怎么要使用数据库？ web服务器使用数据库有如下原因：项目管理--项目的权限以及文件上传等

执行状态--