Azkaban(工作流任务调度器)
Azkaban(工作流任务调度器)
涂作权的博客
To do what I want to do!
展开
-
工作流调度系统介绍,常见工作流调度系统对比,azkaban与Oozie对比,Azkaban介绍与特性(来自学习笔记)
1. 工作流调度器azkaban1.1 概述1.1.1为什么需要工作流调度系统一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等各任务单元之间存在时间先后及前后依赖关系为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行;例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,转载 2017-06-14 15:45:33 · 6316 阅读 · 1 评论 -
Azkaban安装部署,配置文件配置,启动等
1 Azkaban安装部署准备工作 Azkaban Web服务器 azkaban-web-server-2.5.0.tar.gz Azkaban执行服务器 azkaban-executor-server-2.5.0.tar.gzMySQL数据库 目前azkaban只支持 mysql,需安装mysql服务器,本文档中默认已安装好mysql服务器,并建立了 root用户,密码123456下载原创 2017-06-14 16:58:27 · 3625 阅读 · 0 评论 -
Azkaban实战,Command类型单一job示例,任务中执行外部shell脚本,Command类型多job工作flow,HDFS操作任务,MapReduce任务,HIVE任务
1.Azkaban实战Azkaba内置的任务类型支持command、javaCommand类型单一job示例1、创建job描述文件vi command.job#command.jobtype=command command=echo 'hello'2、将job资源文件打包成zip文件 zip原创 2017-06-14 19:48:01 · 12830 阅读 · 1 评论 -
Azkaban任务调度(使用带有依赖的任务调度)【mapreduce数据清洗,数据入hive库,kylin预编译、数据分析】
1 Azkaban任务调度管理1.1 执行任务的脚本编写和说明在做任务调度的过程中,要编写相应的脚本。-rwxrwxrwx 1 root root 809 6月 12 19:52 auto-exec-1-mr.sh-rwxrwxrwx 1 root root 975 6月 12 19:53 auto-exec-2-load-logger-data.sh...原创 2018-06-23 14:34:48 · 5080 阅读 · 0 评论 -
Azkaban用户管理,添加用户,定义组,定义角色
1.Azkaban用户管理在azkaban中${AZKABAN_HOME}/conf/azkaban.properties中的以下配置文件来进行用户的管理。user.manager.class=azkaban.user.XmlUserManageruser.manager.xml.file=/home/bigdata/installed/azkaban-web/conf/azkaba...原创 2018-08-30 22:21:50 · 4231 阅读 · 0 评论 -
hive表,hive视图,spark处理数据入mysql,shell获取url数据下载json,Spark sql处理json,shell脚本执行kylin,azkaban任务调度
1 Spark获取json数据,并将json数据存hive库hive表建立Demo--如果存在hive表,直接删除这个hive表。drop table if EXISTS tb_trade_info;--创建hive表(第一次全量,后续增量)CREATE TABLE IF NOT EXISTS tb_trade_info (salesmanId VARCHAR(40) comment ...原创 2019-03-19 09:32:29 · 4114 阅读 · 6 评论