HUE版本:3.12.0
前言
通过浏览器访问
ip:8888
登陆HUE界面,首次登陆会提示你创建用户,这里使用账号/密码:hue/hue
登陆。
一、Coordinator简介
Coordinator能够将每个工作流Job作为一个动作(Action)来运行,相当于工作流定义中的一个执行节点(我们可以理解为工作流的工作流),这样就能够将多个工作流Job组织起来,称为Coordinator Job
,并指定触发时间和频率,还可以配置数据集、并发数等。一个Coordinator Job
包含了在Job外部设置执行周期和频率的语义,类似于在工作流外部增加了一个协调器来管理这些工作流的工作流Job的运行。
二、业务场景
定时执行某一个Workflow
。
三、调整时区
如果要执行Coordinator
定时任务,一定要调整HUE
和Oozie
的时区。
1. 调整HUE的时区
打开hue.ini
配置文件,将 time_zone=America/Los_Angeles
修改为 time_zone=Asia/Shanghai
,重启HUE服务。
2. 调整Oozie的时区
确保在oozie-site.xml
文件内添加oozie.processing.timezone=GMT+0800
,重启Oozie服务。
四、创建并执行Coordinator
点击“工作流程>编辑器>Coordinator
”,然后点击“创建”,如下图所示:
选择Workflow
,调整频率,可以选择从什么日期到什么日期的哪个时间点执行workflow
。这里选择之前创建的Hive SQL
,如下图所示:
比如,使workflow在2018-10-23 09:40~2018-10-25 21:29的周期内,每天的10:00执行workflow,如下图所示:
创建好Coordinator
之后,点击执行即可。
五、查看执行结果
该Coordinator每天上午10:00开始执行workflow,一共执行了三次。如下图所示:
六、总结
Oozie Coordinator
可以定时执行Workflow
,不过前提条件是要调整Oozie和HUE的时区。
推荐链接
码字不易,如果您觉得文章写得不错,请扫码关注公众号支持作者~ 您的关注是我写作的最大动力?