Oozie 定时任务 细节问题

转载 2015年07月09日 10:40:52

1、 oozie.coord.application.path   设置你的配置文件的地址

2、coordinator.xml    这个配置文件中的 两个参数  

start  不要超过了现在的时间,否则会不定期执行, 最好设置为当前时间

timezone 需要设置为 东八区 ,   GMT+08:00


3、可以通过代码来执行


---------------------------------------------------------------------------------------------------------------------------------------------------------------------------

流程图

A 首先通过代码跑起来job

B找到 oozie.coord.application.path 中  coordinator.xml   的路径

C 根据 start   end   frequency   timezone 四个参数 定时跑这个job

D 然后  根据workflow呢, 执行workflow里面的内容, 

E 我们的是每5分钟往数据库里面写一条记录

F ok了。 对一下我们的时区是否正确, job是否准时执行。 

oozie定时调度的配置说明第一篇

如果需要做一个循环的定时调度,基本的需要三个文件 job.properties 记录了job的属性workflow.xml 使用hPDL 定义任务的流程和分支coordinator.xml ...

Hue上的Oozie如何构建工作流和定时任务

Oozie是什么? Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容: 工作流定义当前运行的工作流实例,包括实例的...

hue中使用oozie的workflow执行mr

hue中使用oozie的workflow执行mr

oozie定时调度的配置说明第二篇

这一讲相对上一讲会稍微难点 job.properties 文件 和 coordinato.xml 上一讲已经讲过,本次就不再做过多的赘述了 job.properties # 集群参数 nameNo...

Hue上的Oozie如何构建工作流和定时任务

Oozie是什么? Oozie是一种Java Web应用程序,它运行在Java servlet容器——即Tomcat——中,并使用数据库来存储以下内容: 工作流定义当前运行的工作流实例,包...

Bug死磕之hue集成的oozie+pig出现资源任务死锁问题

这两天,打算给现有的Apache Hadoop2.7.1的集群装个hue,方便业务人员使用hue的可视化界面,来做一些数据分析任务,这过程遇到不少问题,不过大部分最终都一一击破,收获经验若干,折腾的过...
  • dotedy
  • dotedy
  • 2016年01月14日 23:02
  • 1093

oozie fork多mapreduce任务并行处理示例

${jobTracker} ${nameNode} /shareScripts/xxmapred-site.xml ...

Oozie分布式任务的工作流——Sqoop篇

Sqoop的使用应该是Oozie里面最常用的了,因为很多BI数据分析都是基于业务数据库来做的,因此需要把mysql或者oracle的数据导入到hdfs中再利用mapreduce或者spark进行ETL...
  • dxl342
  • dxl342
  • 2016年12月21日 14:38
  • 1141

Oozie分布式任务的工作流——Sqoop篇

原文地址:http://www.cnblogs.com/xing901022/p/6091306.html Sqoop的使用应该是Oozie里面最常用的了,因为很多BI数据分析都...
  • hblfyla
  • hblfyla
  • 2017年11月01日 16:14
  • 68

用oozie命令行的方式在yarn上运行spark任务

1.做这个实验之前你的服务器上最好装了cdh集群,以及添加必要的组件,如hadoop,oozie,spark,yarn等。 2.需要准备一个关于spark的demo架包,我写的是WordCount功能...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Oozie 定时任务 细节问题
举报原因:
原因补充:

(最多只允许输入30个字)