oozie控制台命令

说明

本博客每周五更新一次。
Apache oozie是hadoop平台重量级开源工作流任务调度工具，支持sh、jar、sql等多种方式开发任务，工作流支持并发、顺序执行，流程通过xml配置。

分享

• 大数据博客列表
• 开发记录汇总

命令

• 启动任务：oozie job -oozie http://localhost:11000/oozie -config ./job.properties -run
  • job.properties 目录下执行
• 停止任务：oozie job -oozie http://localhost:11000/oozie -kill 任务id
• 查看所有运行任务 oozie jobs -jobtype coordinator -filter status=RUNNING -localtime -len 1000 job -oozie http://localhost:11000/oozie |grep 队列名-C | awk -F '[\tRUNNING]' '{print $1"\t"$2}'
• 根据任务名获取任务id：oozie jobs -jobtype coordinator -filter status=RUNNING -localtime -len 1000 job -oozie http://localhost:11000/oozie |grep 队列名-C | awk -F '[\tRUNNING]' '{print $1"\t"$2}' |grep "任务名"
• 查看任务信息：
  • 查看默条数任务：oozie job -oozie http://localhost:11000/oozie -info 任务id
  • 查看6000条任务：oozie job -oozie http://localhost:11000/oozie -localtime -len 6000 -info 任务id
• 查看任务日志：oozie job -oozie http://localhost:11000/oozie -log 任务id
• 验证workflow.xml是否有错：oozie validate workflow.xml

总结

• oozie是hadoop平台任务调度工具之一，常用的还有Azkaban、airflow。
• 个人经验oozie相对厚重稳定，但更新节奏较慢，目前官方未支持hadoop3，需要自己编译，但它相对稳定，如轻度任务调度，使用Azkaban自带页面配置，开发任务更加友好。