Azkaban
大数据 - Azkaban
fg19941101
这个作者很懒,什么都没留下…
展开
-
Azkaban各类型Job编写
Azkaban各种类型Job编写一、总述原生的 Azkaban 支持的plugin类型有以下这些:command:Linux shell命令行任务gobblin:通用数据采集工具hadoopJava:运行hadoopMR任务java:原生java任务hive:支持执行hiveSQLpig:pig脚本任务spark:spark任务hdfsToTeradata:把数据从hdfs...原创 2019-12-04 14:29:13 · 737 阅读 · 0 评论 -
Azkaban配置属性详解
Azkaban配置属性详解参考资料见 :Azkaban文档说明1、Azkaban Web服务器配置1.1.常规属性参数描述默认azkaban.name将显示在UI中的azkaban实例的名称。如果您运行多个Azkaban实例,则很有用Localazkaban.label描述Azkaban实例的标签。My Local Azkabanazkaban....原创 2019-12-03 13:48:08 · 834 阅读 · 0 评论 -
Azkaban简介及安装部署
Azkaban简介及安装部署1、概述Azkaban是由Linkedin公司推出的一个批量工作流任务调度器,用于在一个工作流内以一个特定的顺序运行一组工作和流程。Azkaban使用job配置文件建立任务之间的依赖关系,并提供一个易于使用的web用户界面维护和跟踪你的工作流。 它有三个重要组件:关系数据库(目前仅支持mysql)web管理服务器-AzkabanWebServer...原创 2019-12-03 13:20:51 · 290 阅读 · 0 评论