Azkaban
文章平均质量分 90
牧码文
只要思想不滑坡,从此不怕bug多
展开
-
详解集群内Azkaban安装,步步都附有截图,附带入门案例
Azkaban安装 将Azkaban安装包上传到集群中 db:azkaban需要依赖mysql,db里就是有关的建表语句 exec:azkaban的exec端 web:azkaban的server端 解压三个tar包到/opt/module/azkaban tar -zxvf azkaban-web-server-3.84.4.tar.gz -C /opt/module/azkaban/ tar -zxvf azkaban-exec-server-3.84.4.tar.gz -C /opt/module/原创 2021-12-15 12:28:08 · 1007 阅读 · 0 评论 -
大数据必须框架-Azkaban
大数据必须框架-Azkaban 一、Azkaban 概论 1、为什么需要工作流调度系统 1)一个完整的数据分析系统通常都是由大量任务单元组成: Shell 脚本程序,Java 程序,MapReduce 程序、Hive 脚本等 2)各任务单元之间存在时间先后及前后依赖关系 3)为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 2 、常见工作流调度系统 1)简单的任务调度:直接使用 Linux 的 Crontab 来定义; 2)复杂的任务调度:开发调度平台或使用现成的开源调度系统,比原创 2021-08-10 15:32:12 · 1462 阅读 · 0 评论