![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
oozie
iteye_19462
这个作者很懒,什么都没留下…
展开
-
oozie 介绍
Oozie 是一个管理hadoop任务的工作流/协调系统Oozie工作流是基于DAGsOozie协调系统通过时间及数据可用来激活任务调度Oozie 支持的任务包括M/R job, Streaming Job , Pig, Hive, Distcp , pojo java Oozie 是一个可以扩展的系统,你可以写插件...原创 2012-05-16 15:53:47 · 101 阅读 · 0 评论 -
oozie-调度器用例
转发:https://github.com/yahoo/oozie/wiki/Oozie-Coord-Use-Cases原创 2012-05-18 15:47:10 · 142 阅读 · 0 评论 -
oozie-工作流应用部署
1.创建工作流应用的目录,目录结构 -- --lib例:$ cd ~$ mkdir -p wordcount/lib2.拷贝属性文件(job.properties)、工作流定义文件(workflow.xml)到下,把应用的jar包及依赖放到/lib下3.校验workflow.xml文件是否正确例:$oozie validate ~/wor...原创 2012-05-18 11:33:11 · 140 阅读 · 0 评论 -
oozie-工作流例子
Fork and Join ExampleThe following workflow definition example executes 4 Map-Reduce jobs in 3 steps, 1 job, 2 jobs in parallel and 1 job.The output of the jobs in the previous step are use as...原创 2012-05-17 15:16:05 · 151 阅读 · 0 评论 -
oozie-工作流Map-Reduce行为
Map-Reduce行为A map-reduce action can be configured to perform file system cleanup and directory creation before starting the map reduce job. This capability enables Oozie to retry a Hadoop job in...原创 2012-05-17 13:45:15 · 135 阅读 · 0 评论 -
oozie-工作流行为节点概述
Action节点是被工作流触发的计算任务Action基础Action任务总是在远端(相对于Oozie而言)运行,不会在Oozie运行空间运行。Action都是异步执行的,fs action除外。Oozie可以检测任务的完成,通过callback和polling两种方式,当任务执行时Oozie会提供一个唯一的callback URL给这个任务,这个任务当完成时,通过c...原创 2012-05-17 11:35:21 · 309 阅读 · 0 评论 -
oozie-工作流控制节点详述
控制节点包括start、end、kill、decision、fork、join。其中start、end、kill代表了工作流的起始及工作流执行逻辑(路径),如decision、fork、join节点名称必需复合 [a-zA-Z][\-_a-zA-Z0-0]* ,最大20个字符;start控制节点此节点是工作流任务的入口点,工作流定义必须有一个start节点 语法:...原创 2012-05-16 17:57:21 · 676 阅读 · 0 评论 -
oozie-工作流定义
工作流定义由控制节点及动作节点组成,控制节点包括start、end、decision、fork、join、kill,动作节点包括map-reduce、pig、hive等工作流定义语言是基于XML的,叫hPDL(Hadoop Process Definition Language)Oozie 不支持循环定义工作流,在部署阶段会检测循环定义动作,如检测到,Oozie不会提交此工作流...原创 2012-05-16 17:39:04 · 141 阅读 · 0 评论 -
oozie-深入探讨工作流
一个工作流应用主要是靠DAG来协调actions,如M/R、Pig、子工作流等;流程控制,是通过decision、fork 和 join来控制的,循环工作流目前Oozie还不支持;Actions 和 decisions 可以通过任务的属性文件来传递参数,如actions 输入/输出.通过${VARS}来访问属性文件定义的参数;一个工作流应用是一个ZIP格式的文件,ZIP...原创 2012-05-16 17:12:08 · 128 阅读 · 0 评论 -
oozie 工作流概念
定义:Action: 一个计算任务(如M/R,Pig,Hive,Pojo java,做为工作流的一个"action node";Workflow: Action的集合,控制依赖通过DAG来定义。控制依赖是指一个任务的运行依赖于另一个任务的结束;Workflow Definition:使工作流可运行;Workflow Definition Language: 工作流定...原创 2012-05-16 16:13:11 · 73 阅读 · 0 评论 -
oozie-E0902 解决办法
oozie 版本:3.1.3使用oozie提交命令,得到如下提示Error: E0902 : E0902: Exception occured: [org.apache.hadoop.ipc.RemoteException: User: jack is not allowed to impersonate jack]增加如下参数:$HADOOP_HOME/conf/co...原创 2012-05-28 09:46:41 · 152 阅读 · 0 评论