Oozie 是用于Hadoop平台的开源的工作流调度引擎
统一调度Hadoop系统中常见的mr任务启动、hdfs操作、shell操作、hive操作等
使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达,开发效率提高
一组任务使用一个DAG来表示,使用图形表达流程逻辑更加清晰
支持很多种任务调度,能完成大部分Hadoop 任务处理
程序定义支持EL常量和函数,表达更加丰富
oozie cli
启动任务:
- oozie job -oozie http://ip:11000/oozie/ -config job.properties -run #-config job.properties(指定配置文件)
停止任务:
- oozie job -oozie http://ip:11000/oozie/ -kill run之后生成的唯一ID
提交任务:
- oozie job -oozie http://ip:11000/oozie/ -config job properties -submit #只是提交还没启动
开始任务:
- oozie job -oozie http://ip:11000/oozie/ -config job.properties -start 唯一标识id
查看任务执行情况:
- oozie job -oozie http://ip:11000/oozie/ -config job.properties -info 唯一标识id
oozie 有两个配置文件 job.properties 和workflow.xml文件
job配置 job.properties
EL函数 引用方式:${}
一、基本的EL函数
string concat(String s1,String s2)
string timestamp()