Oozie开发记录

最新推荐文章于 2023-01-13 17:57:46 发布
最新推荐文章于 2023-01-13 17:57:46 发布
阅读量112 收藏
点赞数
分类专栏： 大数据仓库 文章标签： big data oozie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_22271479/article/details/120339668
版权

oozie开发文档

文章目录


oozie开放文档

  1. 设置时区,cdh修改 oozie-site.xml

    oozie.processing.timezone
GMT+0800

  2. oozie通过cdh方式部署时，oozie的依赖没有上传至hdfs，需要我们手动上传

    cd /opt/cloudera/parcels/CDH/lib/oozie/oozie-sharelib-yarn
su hdfs
hdfs -dfs -mkdir -p /user/oozie/share/
hdfs -dfs -put lib/ /user/oozie/share/
hdfs -dfs -chown -R oozie:oozie /user/oozie/

  3. 编写workflow.xml

    主要是用到了 fork 、 join 和 action

    • fork 使得一组action能并行执行
    • join使得等到之前的任务都结束了才执行join指向的action，类似于检查点.
    • action就是我们要进行的操作了，这里执行的是shell脚本，如果需要hive等其他的操作，需要参考文档
    <workflow-app name="数仓全流程" xmlns="uri:oozie:workflow:0.4">
    <start to="org_to_ods_forking"/>
    <fork name="org_to_ods_forking">
        <path start="org_to_ods_ga_viid_0001" />
        <path start="org_to_ods_ga_viid_0002" />
        <path start="org_to_ods_wa_dw_0001" />
        <path start="org_to_ods_wa_source_fj_0001" />
        <path start="org_to_ods_wa_source_fj_0002" />
        <path start="org_to_ods_wa_source_fj_1001" />
        <path start="org_to_ods_wa_source_fj_1002" />
        <path start="org_to_ods_wa_wb_0001" />
    </fork>

	
    <action name="org_to_ods_ga_viid_0001">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>/user/task/shell/${EXEC}</exec>
            <argument>ods_ga_viid_0001</argument>
            <argument>${flumeDir}/topic_wa_dw_0001</argument>
            <file>/user/task/shell/hdfs_to_ods.sh#${EXEC}</file>
            <capture-output/>
        </shell>
        <ok to="ods_next_dwd_joining"/>
        <error to="Kill"/>
    </action>

    <action name="org_to_ods_ga_viid_0002">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>/user/task/shell/${EXEC}</exec>
            <argument>ods_ga_viid_0001</argument>
            <argument>${flumeDir}/topic_wa_dw_0002</argument>
            <file>/user/task/shell/hdfs_to_ods.sh#${EXEC}</file>
            <capture-output/>
        </shell>
        <ok to="ods_next_dwd_joining"/>
        <error to="Kill"/>
    </action>

    <action name="org_to_ods_wa_dw_0001">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>/user/task/shell/${EXEC}</exec>
            <argument>ods_wa_dw_0001</argument>
            <argument>${flumeDir}/topic_wa_dw_0001</argument>
            <file>/user/task/shell/hdfs_to_ods.sh#${EXEC}</file>
            <capture-output/>
        </shell>
        <ok to="ods_next_dwd_joining"/>
        <error to="Kill"/>
    </action>

    <action name="org_to_ods_wa_source_fj_0001">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>/user/task/shell/${EXEC}</exec>
            <argument>ods_wa_dw_0001</argument>
            <argument>${flumeDir}/topic_wa_source_fj_0001</argument>
            <file>/user/task/shell/hdfs_to_ods.sh#${EXEC}</file>
            <capture-output/>
        </shell>
        <ok to="ods_next_dwd_joining"/>
        <error to="Kill"/>
    </action>
	
    <action name="org_to_ods_wa_source_fj_0002">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>/user/task/shell/${EXEC}</exec>
            <argument>ods_wa_dw_0001</argument>
            <argument>${flumeDir}/topic_wa_source_fj_0002</argument>
            <file>/user/task/shell/hdfs_to_ods.sh#${EXEC}</file>
            <capture-output/>
        </shell>
        <ok to="ods_next_dwd_joining"/>
        <error to="Kill"/>
    </action>

    <action name="org_to_ods_wa_source_fj_1001">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>/user/task/shell/${EXEC}</exec>
            <argument>ods_wa_dw_0001</argument>
            <argument>${flumeDir}/topic_wa_source_fj_1001</argument>
            <file>/user/task/shell/hdfs_to_ods.sh#${EXEC}</file>
            <capture-output/>
        </shell>
        <ok to="ods_next_dwd_joining"/>
        <error to="Kill"/>
    </action>

    <action name="org_to_ods_wa_source_fj_1002">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>/user/task/shell/${EXEC}</exec>
            <argument>ods_wa_dw_0001</argument>
            <argument>${flumeDir}/topic_wa_source_fj_1002</argument>
            <file>/user/task/shell/hdfs_to_ods.sh#${EXEC}</file>
            <capture-output/>
        </shell>
        <ok to="ods_next_dwd_joining"/>
        <error to="Kill"/>
    </action>


    <action name="org_to_ods_wa_wb_0001">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>/user/task/shell/${EXEC}</exec>
            <argument>ods_wa_dw_0001</argument>
            <argument>${flumeDir}/topic_ods_wa_wb_0001</argument>
            <file>/user/task/shell/hdfs_to_ods.sh#${EXEC}</file>
            <capture-output/>
        </shell>
        <ok to="ods_next_dwd_joining"/>
        <error to="Kill"/>
    </action>

    <join name="ods_next_dwd_joining" to="ods_to_dwd"/>

    <action name="ods_to_dwd">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <exec>/user/task/shell/${EXEC}</exec>
            <argument>ods_wa_dw_0001</argument>
            <argument>${flumeDir}/topic_wa_dw_0001</argument>
            <file>/user/task/shell/hdfs_to_ods.sh#${EXEC}</file>
            <capture-output/>
        </shell>
        <ok to="end"/>
        <error to="Kill"/>
    </action>


    <kill name="Kill">
        <message>Action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>

    <end name="end"/>
</workflow-app>

  4. 编写coordinator.xml

    简单点讲就是一个定时器，执行执行规则和需要执行的work，即可

    <coordinator-app name="TBL数仓定时协调器"
                 frequency="30 1 * * *"
                 start="${start_date}" end="${end_date}" timezone="Asia/Shanghai"
                 xmlns="uri:oozie:coordinator:0.2">
<controls>
    <execution>FIFO</execution>
</controls>
<action>
    <workflow>
        <app-path>${wf_application_path}</app-path>
        <configuration>
            <property>
                <name>oozie.use.system.libpath</name>
                <value>True</value>
            </property>
            <property>
                <name>start_date</name>
                <value>${start_date}</value>
            </property>
            <property>
                <name>end_date</name>
                <value>${end_date}</value>
            </property>
        </configuration>
    </workflow>
</action>
</coordinator-app>

  5. 编写job.properties

    jobTracker=cdh211:8032
#请查阅cdh你的配置
nameNode=hdfs://nameservice1
queueName=default
user.name=hdfs
flumeDir=/flume/capture
oozie.use.system.libpath=true
mapreduce.job.user.name=hdfs
EXEC=hdfs_to_ods.sh
start_date=	2021-09-16T22:40+0800
end_date=2121-09-23T23:40+0800
oozie.coord.application.path=${nameNode}/user/${user.name}/workspaces/coordinator
wf_application_path=${nameNode}/user/${user.name}/workspaces/workflow/

  6. 上传workflow.xml和coordinator.xml至hdfs

    	hdfs dfs -put workflow.xml /user/hdfs/workspaces/workflow/
	hdfs dfs -put coordinator.xml /user/hdfs/workspaces/coordinator/

  7. 推送至oozie，也可以用hue来提交，但是命令提交更方便

    oozie job -oozie http://cdh210:11000/oozie -config job.properties -run

  8. 查看任务信息，hue有很好的图形化界面可以查看详细的信息

    job -oozie http://cdh210:11000/oozie -info 你的任务号

总结

为什么要选择oozie，是出于运维方便的角度去考量的，相比azkaban来讲，oozie比较复杂，但是都是任务流程调度框架，根据各自实际情况去选择就好了。

尹忠政
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
oozie oozie
08-21
Hadoop oozie报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist 。 oozie建表sql,直接下载执行
大数据任务调度（Azkaban，Oozie）
李玉坤的博客
09-03 5813
文章目录常见调度工具OozieOozie架构Oozie运行原理Oozie 工作三大核心Oozie 元数据库Oozie Action 节点类型Oozie Job 创建方式Hue 创建 Oozie job 步骤及演示 常见调度工具 CRONTAB （最简单的方式，适合不是非常复杂的场景，比如只按照时间来调度） OOZIE（Hadoop自带的） AZKABAN（开源的一个调度工具） 定制开发 O...
Azkaban安装配置
lucasmaluping的专栏
12-04 524
一 概述 1.1 工作流调度系统 1）一个完整的数据分析系统通常都是由大量任务单元组成： shell 脚本程序，java 程序，mapreduce 程序、hive 脚本等。 2）各任务单元之间存在时间先后及前后依赖关系。 3）为了很好地组织起这样的复杂执行计划，需要一个工作流调度系统来调度执行。   例如，我们可能有这样一个需求，某个业务系统每天产生 20G 原始数据，我们每天都要对其进行处理，处...
大数据用户画像之Oozie、Hue集成Spark2 应用调度
黑马程序员官方博客
01-13 556
转存失败重新上传取消在没有工作流调度系统之前，公司里面的任务都是通过于是，出现了一些管理crontab任务的调度系统，如等。而在，现在市面上常用的工作流调度工具有等。由于公司安装CDH集群时已经安装好Oozie，且有对应的可视化操作工具Hue，所以直接选 择Oozie进行工作流调度啦！Oozie主要有三个主要概念，分别是。Oozie本质是通过运行某个具体的Action。是一个的 MR作业，而且并不知道它将在集群的哪台机器上执行这个MR作业。
Oozie基础入门
磨刀大神的博客
07-01 245
工作流调度框架Oozie * 工作流 import -> hive -> export 将不同的业务进行编排 * 调度 作业/任务 定时执行 事件触发执行 时间 数据集 调度框架 Linux crontab 规则 * * * * * cmd 前五个字段是设...
大数据开发之Oozie基本知识点
酸梅汤
08-23 218
Oozie 一、理性认知 英文释义 驯象人 简介 一个基于工作流引擎的开源框架，由cloudera公司贡献给Apache，提供对hadoop，MapReduce，Pig jobs的任务调度与协调。Oozie需要部署到java Servlet容器中运行 在集群中扮演的角色 ...
Oozie的使用
01-20
文章目录1.Oozie调度shell脚本1.1解压官方案例模板1.2创建工作目录1.3拷贝任务模板到oozie-apps1.4编写脚本p1.sh1.5修改配置文件1.5.1job.properties1.5.2workflow.xml1.6上传任务到hdfs1.7执行任务2.Oozie逻辑调度...
oozie使用整理
09-21
此文档主要对oozie的使用方法，基本内容做了一次介绍。
Oozie视频教程
04-10
完整Oozie视频教程 视频方式为百度网盘 下载文件中提供了下载链接和提取码
oozie介绍及使用详解
02-10
oozie介绍及使用详解
工作流oozie文档
12-12
华为云,应用的开源工作流调度管理,介绍的还是比较详细的.
oozie timezone时区配置
men子烦高的烂笔头
03-11 7009
cloudera oozie默认时区是UTC，在开发oozie任务时必须在期望执行的时间上减去8小时，很不习惯。记录下修改时区的配置操作。 1. cloudera oozie配置—>Oozie Server Default Group -->高级-->oozie-site.xml 的 Oozie Server 高级配置代码段（安全阀）  添加       oozie.processing
Oozie的详细使用
@小刘同学nice
07-15 2489
案例一：Oozie调度shell脚本 目标：使用Oozie调度Shell脚本 分步实现： 创建工作目录 [liujh@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir -p oozie-apps/shell 在oozie-apps/shell目录下创建两个文件——job.properties和workflow.xml文件 [liujh@hadoop102 sh...
大数据调度工具oozie详细介绍
热门推荐
Abysscarry的博客
08-17 1万+
背景： 之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行，这样实现的话比较简单，但是随着多个job复杂度的提升，无论是协调工作还是任务监控都变得麻烦，我们选择使用oozie来对工作流进行调度监控。在此介绍一下oozie~ 注：我的 Oozie server version：[4.1.0 - CDH 5.13.0] 一、官网介绍 首先看官网首...
Oozie可视化JS安装
L, there!
07-09 491
CDH中打开Oozie webUI提示以下信息： Oozie web console is disabled. To enable Oozie web console install the Ext JS library. Refer toOozie Quick Startdocumentation for details. 安装Oozie可视化JS： 版本： 根据文...
Oozie安装步骤-01
kxj19980524的博客
04-26 660
Oozie英文翻译 驯象人 Oozie简介 一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。 Oozie需要部署到Java Servlet容器中运行。 Oozie在集群中扮演的角色 定时调度任务，多任务可以...
11-oozie的基本介绍和使用
weixin_44553150的博客
01-06 262
离线阶段第十一天 oozie：单独使用不太好用。与hue整合之后，就比较好用了 基础环境增强：hadoop的 HA 不用做了。如何在现有的基于伪分布式环境的基础上，转换成HA的环境 CM：在页面上点点配配就可以完成所有用到的大数据软件的安装。做不了 oozie的基本介绍 与azkaban的功能类似。任务调度的框架 oozie的定义语言都是使用xml编写的。里面都是由一个个的action组成的，...
0.0.0 VScode插件platformIO开发环境的安装[esp32、8266]_̌萌新历险记的博客-CSDN博客.mhtml
最新发布
05-02
0.0.0 VScode插件platformIO开发环境的安装[esp32、8266]_̌萌新历险记的博客-CSDN博客.mhtml
什么是五一数学建模以及学习五一数学建模的意义是什么
05-02
五一数学建模
hadoop oozie
08-17
Hadoop Oozie是一个用于协调和管理Hadoop作业工作流的开源工作流调度引擎。它允许用户定义复杂的作业工作流，包括Hadoop MapReduce、Pig、Hive、Sqoop等任务，并将它们按照预定的顺序和条件进行调度和执行。 Oozie...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值