Azkaban
Movle
this is the way
展开
-
Azkaban概述
一 概述1.1 为什么需要工作流调度系统1.一个完整的数据分析系统通常都是由大量任务单元组成:shell脚本程序,java程序,mapreduce程序、hive脚本等2.各任务单元之间存在时间先后及前后依赖关系3.为了很好地组织起这样的复杂执行计划,需要一个工作流调度系统来调度执行; 例如,我们可能有这样一个需求,某个业务系统每天产生20G原始数据,我们每天都要对其进行处理,处理步骤如下所示:(1)通过Hadoop先将原始数据上传到HDFS上(HD原创 2020-05-17 08:31:11 · 779 阅读 · 0 评论 -
Azkaban安装配置
1.1 安装前准备1.将Azkaban Web服务器、Azkaban执行服务器、Azkaban的sql执行脚本及MySQL安装包拷贝到bigdata111虚拟机/opt/software目录下1) azkaban-web-server-2.5.0.tar.gz2) azkaban-executor-server-2.5.0.tar.gz3) azkaban-sql-script-2.5.0.tar.gz4) mysql-libs.zip2.选择Mysql作为Azkaban数据库,因为Azkab原创 2020-05-17 08:35:07 · 464 阅读 · 0 评论 -
Azkaban实战-单一job案例
Azkaba内置的任务类型支持command、java1.1单一job案例1.创建job描述文件(可以在linux里写,也可以在windows或者mac中写完在打包上传)(a)方法一:在linux里创建并压缩创建:vi first.job添加内容:#first.jobtype=commandcommand=echo 'this is my first job'2. linux中:将job资源文件打包成zip文件zip first.zip first.job注意:目前,Az原创 2020-05-17 08:37:23 · 247 阅读 · 0 评论 -
Azkaban实战-多job工作流案例
0.数据源:word.txt:AAABBBDDDCCCAAAMovleKai MovleBBB yue 1.创建有依赖关系的多个job描述第一个job:1.jobvi 1.job添加内容:type=commandcommand=/opt/module/hadoop-2.8.4/bin/hadoop fs -put /opt/module/datas/word.txt /第二个job:2.job依赖1.jobvi 2.job添加内容:type=command原创 2020-05-17 08:39:24 · 467 阅读 · 0 评论 -
Azkaban实战-java操作任务
使用Azkaban调度java程序1.编写java程序import java.io.FileOutputStream;import java.io.IOException;public class AzkabanTest { public void run() throws IOException { // 根据需求编写具体代码 FileOutputStream fos = new FileOutputStream("/opt/module/azka原创 2020-05-17 08:40:57 · 1494 阅读 · 0 评论 -
Azkaban实战-HDFS操作任务
1.创建job描述文件vi hdfs.job添加内容:#hdfs jobtype=commandcommand=/opt/module/hadoop-2.8.4/bin/hadoop fs -mkdir /azkaban2.将job资源文件打包成zip文件zip fs.zip fs.job 3.通过azkaban的web管理平台创建project并上传job压缩包4.执行:5.查看结果...原创 2020-05-17 08:42:16 · 334 阅读 · 0 评论 -
Azkaban实战-Mapreduce任务
mapreduce任务依然可以使用azkaban进行调度1.创建job描述文件,及mr程序jar包vi mapreduce.job添加内容:#mapreduce jobtype=commandcommand=/opt/module/hadoop-2.8.4/bin/hadoop jar /opt/module/hadoop-2.8.4/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.4.jar wordcount /wordcount/原创 2020-05-17 08:43:24 · 652 阅读 · 0 评论 -
Azkaban实战-Hive脚本任务
1.创建job描述文件和hive脚本(1)Hive脚本:student.sqlvim student.sql添加内容:use default;drop table student;create table student(id int, name string)row format delimited fields terminated by '\t';load data local inpath '/opt/module/datas/student.txt' into table stu原创 2020-05-17 08:44:28 · 1993 阅读 · 0 评论