Oozie
贾诩是也
走过很多弯路,一直坚强、执着的眺望着远方、、、一个听着小米布斯故事成长起来的老码农。不忘初心,方得始终、、、给自己鼓劲加油,为这个时代华丽的时代喝彩!
展开
-
Oozie介绍
1. Hadoop常见调度框架:(1)Linux Crontab:Linux自带的任务调度计划,在任务比较少的情况下,可以使用这种方式,直接执行脚本,例如添加一个执行计划: 0 12 * hive -f xxx.sql(2)Azkaban:(3)Oozie:Cloudera公司开源(4)Zeus:阿里开源。Oozie是管理Hadoop作业的工作流调度系统。Oozie定义了控制流节点和动作节点。Oo...转载 2018-03-03 11:38:41 · 243 阅读 · 0 评论 -
Oozie-自定义实现WorkFlow中shell action
拷贝默认的shell目录来进行修改$ cp -r ./examples/apps/shell/ my-apps/定义job.propertiesnameNode=hdfs://bigdata-00:8020jobTracker=bigdata-00:8032queueName=defaultexamplesRoot=user/wulei/my-apps/shell#定义work翻译 2018-03-03 11:40:52 · 423 阅读 · 0 评论 -
Oozie-coordinator调度
当有一个复杂的工作流job,希望每天定时执行,使用crontab方式调用需要编写大量的脚本,还要通过大量的判断来控制每个工作流job的执行顺序问题。Oozie中的Coordinator可以让每个工作流workflow当做一个动作来运行,这样就可以将多个job组织起来,并制定触发时间和频率。它的调度方式有两种:一种是基于时间调度;还有一种是基于数据可用性调度(判断数据是否存在和是否符合标准)。转载 2018-03-03 11:42:14 · 846 阅读 · 0 评论 -
oozie 常用命令
1.验证wokflow.xmloozie validate /appcom/apps/hduser0401/mbl_webtrends/workflow.xml 2.提交作业,作业进入PREP状态 oozie job -oozie http://localhost:11000/oozie -config job.properties -submit job: 14-20090525161321-o...原创 2018-03-03 11:43:34 · 1597 阅读 · 0 评论 -
Oozie4.2 安装部署、以及example测试
编译:使用的环境是:Hadoop2.6.0、Spark1.4.0、Hive0.13.1、Sqoop1.4.4编译Oozie的命令:./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddistcp.version=2.6.0 -Dsqoop.version=1.4.4 -Dhive.version=0.13.1 -Dpig.version=0...翻译 2018-03-03 11:44:38 · 286 阅读 · 0 评论 -
工作流引擎Oozie(一):workflow
1. Oozie简介Yahoo开发工作流引擎Oozie(驭象者),用于管理Hadoop任务(支持MapReduce、Spark、Pig、Hive),把这些任务以DAG(有向无环图)方式串接起来。Oozie任务流包括:coordinator、workflow;workflow描述任务执行顺序的DAG,而coordinator则用于定时任务触发,相当于workflow的定时管理器,其触发条件包括两类:...转载 2018-03-03 11:45:29 · 820 阅读 · 0 评论 -
工作流引擎Oozie(二):coordinator
1. 简介coordinator是workflow的定时提交器,基于时间条件与数据生成触发(based on time and data triggers)。简单点说,coordinator按所定义的时间周期进行轮询,若数据生成条件满足,则触发workflow任务;否则,则等待数据生成或跳过(调度策略由设置的超时时间决定)。2. 详解coordinator-app<coordinator-a...转载 2018-03-03 11:46:05 · 1134 阅读 · 0 评论 -
Oozie工作流属性配置的方式与策略
Oozie工作流属性配置的三种方式Oozie有三种方法可以给工作流提供属性属性配置:App部署文件夹根目录下的:config-default.xml作业属性文件:job.properties在命令行中指定属性:-Dkey=valueOozie工作流属性配置的策略(最佳实践)坦率地讲,三种配置相互重叠,全部使用会使属性的配置过于分散,使得查找和定位属性变得繁琐。就我个人的经验,我倾向于这样做:对于静...翻译 2018-03-03 11:46:36 · 390 阅读 · 0 评论 -
Oozie workflow工作流action间参数传递实现
假设workflow里有两个action节点,shell和hive,hive需要用到shell节点里的值,shell脚本如下#!/bin/sh day=`date '+%Y%m%d%H'` echo "day:$day" hive节点需传入day这个参数。需要用到shell节点里<capture-output/>这个属性,如下<action name="shell-...转载 2018-03-03 11:47:07 · 573 阅读 · 0 评论