Azkaban
文章平均质量分 91
Lyle-liang
大数据,互联网金融交易
展开
-
Azkaban 总览
一、为什么需要工作流调度器1、一个完整的数据分析系统通常都是由大量任务单元组成: shell 脚本程序,java 程序,mapreduce 程序、hive 脚本等2、各任务单元之间存在时间先后及前后依赖关系3、为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行例如,我们可能有这样一个需求,某个业务系统每天产生 20G 原始数据,我们每天都要对其进行处理,处理步骤如...原创 2018-11-27 17:24:29 · 311 阅读 · 0 评论 -
Azkaban 3.62 安装
介绍Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。 它有三个重要组件: 1. 元数据数据库(目前仅支持my...原创 2018-11-27 18:13:06 · 2067 阅读 · 0 评论 -
supervisor 教程
概述(1) 基于python编写,安装方便(2) 进程管理工具,可以很方便的对用户定义的进程进行启动,关闭,重启,并且对意外关闭的进程进行重启 ,只需要简单的配置一下即可,且有web端,状态、日志查看清晰明了。(3) 组成部分 supervisord[服务端,所以要通过这个来启动它] supervisorctl[客户端,可以来执行stop等命令](4) 官方文档...原创 2018-12-10 12:41:27 · 843 阅读 · 0 评论