Azkaban
小刘同学-很乖
这个作者很懒,什么都没留下…
展开
-
Azkaban详细实战
Azkaba内置的任务类型支持command、java 单一job案例 创建job描述文件 [liujh@hadoop102 jobs]$ vim first.job #first.job type=command command=echo 'this is my first job' 将job资源文件打包成zip文件 [liujh@hadoop102 jobs]$ zip first.zip ...原创 2020-07-20 08:53:37 · 425 阅读 · 0 评论 -
Azkaban详细安装部署
安装前准备 将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到hadoop102虚拟机/opt/software目录下 1)azkaban-web-server-2.5.0.tar.gz 2)azkaban-executor-server-2.5.0.tar.gz 3)azkaban-sql-script-2.5.0.tar.gz 4...原创 2020-07-19 09:23:06 · 1832 阅读 · 1 评论 -
Azkaban详细概述
为什么需要工作流调度系统 一个完整的数据分析系统通常都是由大量任务单元组成: shell脚本程序,java程序,mapreduce程序、hive脚本等 各任务单元之间存在时间先后及前后依赖关系 为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,处理步骤如下所示: 1)通过Hadoop...原创 2020-07-17 09:22:47 · 352 阅读 · 0 评论