---- Azkaban
关注
分享
扫一扫
Azkaban是由Linkedin开源的一个批量工作流任务调度器。用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban定义了一种KV文件格式来建立任务之间的依赖关系，并提供一个易于使用的web用户界面维护和跟踪你的工作流。
云 祁
Focus BigData，专注于大数据技术领域的知识分享。
展开
-
【Azkaban 】（二）十分钟搞定 Azkaban 安装，亲测完美！
文章目录一、安装过程1、软件介绍2、软件下载3、安装说明4、安装步骤5、启动6、验证 一、安装过程 1、软件介绍 Azkaban Web 服务器：azkaban-web-server-2.5.0.tar.gz Azkaban Excutor 执行服务器：azkaban-executor-server-2.5.0.tar.gz Azkaban 初始化脚本文件：azkaban-sql-script-2...原创 2020-04-12 23:56:32 · 704 阅读 · 8 评论 -
【Azkaban】（一）Azkaban 入门
一、为什么需要工作流调度器 1、一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等 2、各任务单元之间存在时间先后及前后依赖关系 3、为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行 例如，我们可能有这样一个需求，某个业务系统每天产生 20G 原始数据，我们每天都要对其进行处理，处理步骤如下所示：...原创 2020-04-11 23:46:21 · 324 阅读 · 4 评论