大数据任务调度框架oozie项目分享

 闲聊一句,我记得当初启动任务调度框架oozie项目的时候,csdn上还没有几篇关于oozie的文档,查阅资料还只能去官网,,

作业调度系统的技术选型考虑到基于java语言的Azkaban/oozie以及基于python的airflow,三者其实都可以进行很好的二次开发,基于产品开发面向用户,考虑到oozie能够更好的融入hadoop生态圈以及基于java语言开发,学习研发成本较低,最终选择了oozie技术。

oozie的三大功能:

Oozie Workflow jobs :工作流任务,可以生成DAG图

Oozie Coordinator jobs:可以定时调度

Oozie Bundle:多个coordinator的集合,或者多个workflow的集合

workflow(工作流):定义job任务执行。

Coordinator:定时触发workflow,周期性执行workflow

Bundle Job:绑定多个coordinator,一起提交或触发所以coordinator

由于暂时需求,项目中涉及到workflow以及coordinator。oozie是可以匹配不同类型的程序,比如java/ssh/sh/mr/hive/spark/sqoop等。当然不同类型的程序将对应不同结构的任务xml文件,oozie将在hdfs上指定目录里根据不同的xml任务文件启动执行任务程序。

启动任务运行类别可以分为立即启动,定时启动,循环周期启动,中间的区别可以通过coordinator中的start,end,frequency:周期 (cron表达式)进行设定。

oozie服务相关命令:

oozie job -oozie http://localhost:11000/oozie -config job.properties -submit 提交任务

oozie job -oozie http://localhost:11000/oozie -config job.properties -run 运行任务

oozie job -oozie http://localhost:11000/oozie -start  jobid 执行已经提交的任务

oozie job -oozie http://localhost:11000/oozie -kill jobid  杀死任务

oozie job -oozie http://localhost:11000/oozie -info jobid 检查作业状态

oozie job -oozie http://localhost:11000/oozie -log jobid 查看日志

oozie job -oozie http://localhost:11000/oozie -suspend jobid 将该任务挂起

oozie job -oozie http://localhost:11000/oozie -resume jobid 将该任务挂起

先这样吧,回头更新。

 

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值