oozie应用介绍

最新推荐文章于 2021-08-09 10:41:01 发布
最新推荐文章于 2021-08-09 10:41:01 发布
阅读量2.4k 收藏
点赞数
分类专栏： Oozie 文章标签： properties string action exception path workflow

在前一篇文章《Oozie简介》中，我们已经描述了Oozie工作流服务器，并且展示了一个非常简单的工作流示例。我们还描述了针对Oozie的工作流的部署和配置，以及用来启动、停止和监控Oozie工作流的工具。

在本文中，我们会描述一个更加复杂的例子，通过它我们可以讨论更多Oozie特性，并演示如何来使用它们。

定义过程

我们在此描述的工作流会实现汽车GPS探测数据的获取过程。我们每个小时都会以文件的形式把探测数据传递到指定的HDFS目录中[1]，其中包含有这个小时之内的所有探测数据。探测数据的获取是每天针对一天内所有的24个文件完成的。如果文件的数量是24，那么获取过程就会启动。否则：

  • 当天什么都不做
  • 对前一天——最多到7天，发送剩下的内容到探测数据提供程序
  • 如果目录的存在时间已达到7天，那么就获取所有可用的探测数据文件。

过程的总体实现请见图1

（点击可以查看大图）。

图1： 过程图

在此，主流程（数据获取流程）首先会为今天以及之前的六天计算出目录的名称，然后启动（fork）七个目录的子过程（子流程）。待所有子过程的状态都变成终止之后，join步骤就会把控制权交给end状态。

子过程启动时，首先会获得关于目录的信息——它的日期以及文件数量。基于这条信息，它会决定是获取数据还是把数据归档，或者发送剩下的邮件，或者不做任何工作。

Directory子过程实现

以下代码负责实现的是directory子过程（代码1）。

<workflow-app xmlns='uri:oozie:workflow:0.1' name='processDir'>

    <start to='getDirInfo' />

    <!-- STEP ONE -->
    <action name='getDirInfo'>
         <!--writes 2 properties: dir.num-files: returns -1 if dir doesn't exist,
             otherwise returns # of files in dir dir.age: returns -1 if dir doesn't exist,
             otherwise returns age of dir in days -->
         <java>
             <job-tracker>${jobTracker}</job-tracker>
             <name-node>${nameNode}</name-node>
             <main-class>com.navteq.oozie.GetDirInfo</main-class>
             <arg>${inputDir}</arg>
             <capture-output />
         </java>
         <ok to="makeIngestDecision" />
         <error to="fail" />
     </action>

     <!-- STEP TWO -->
     <decision name="makeIngestDecision">
         <switch>
             <!-- empty or doesn't exist -->
             <case to="end">
                ${wf:actionData('getDirInfo')['dir.num-files'] lt 0 ||
                (wf:actionData('getDirInfo')['dir.age'] lt 1 and
                wf:actionData('getDirInfo')['dir.num-files'] lt 24)}
             </case>
             <!-- # of files >= 24 -->
             <case to="ingest">
                ${wf:actionData('getDirInfo')['dir.num-files'] gt 23 ||
                wf:actionData('getDirInfo')['dir.age'] gt 6}
             </case>
             <default to="sendEmail"/>
         </switch>
     </decision>

     <!--EMAIL-->
     <action name="sendEmail">
          <java>
             <job-tracker>${jobTracker}</job-tracker>
             <name-node>${nameNode}</name-node>
             <main-class>com.navteq.oozie.StandaloneMailer</main-class>
             <arg>probedata2@navteq.com</arg>
             <arg>gregory.titievsky@navteq.com</arg>
             <arg>${inputDir}</arg>
             <arg>${wf:actionData('getDirInfo')['dir.num-files']}</arg>
             <arg>${wf:actionData('getDirInfo')['dir.age']}</arg>
          </java>
          <ok to="end" />
          <error to="fail" />
     </action>

     <!--INGESTION -->
     <action name="ingest">
          <java>
             <job-tracker>${jobTracker}</job-tracker>
             <name-node>${nameNode}</name-node>
             <prepare>
                 <delete path="${outputDir}" />
             </prepare>
             <configuration>
                 <property>
                    <name>mapred.reduce.tasks</name>
                    <value>300</value>
                 </property>
             </configuration>
             <main-class>com.navteq.probedata.drivers.ProbeIngest</main-class>
             <arg>-conf</arg>
             <arg>action.xml</arg>
             <arg>${inputDir}</arg>
             <arg>${outputDir}</arg>
          </java>
          <ok to=" archive-data" />
          <error to="ingest-fail" />
     </action>

     <!—Archive Data -->
     <action name="archive-data">
          <fs>
             <move source='${inputDir}' target='/probe/backup/${dirName}' />
             <delete path = '${inputDir}' />
          </fs>
          <ok to="end" />
          <error to="ingest-fail" />
     </action>

     <kill name="ingest-fail">
          <message>Ingestion failed, error
            message[${wf:errorMessage(wf:lastErrorNode())}]</message>
     </kill>

     <kill name="fail">
          <message>Java failed, error
            message[${wf:errorMessage(wf:lastErrorNode())}]</message>
     </kill>
     <end name='end' />
</workflow-app>

代码1： Directory子过程

这个子过程的start节点会触发自定义的java节点，这个节点会获得目录信息（代码2）。

package com.navteq.oozie;

import java.io.File;
import java.io.FileOutputStream;
import java.io.OutputStream;
import java.util.GregorianCalendar;
import java.util.Properties;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class GetDirInfo {
    private static final String OOZIE_ACTION_OUTPUT_PROPERTIES = "oozie.action.output.properties";

    public static void main(String[] args) throws Exception {
        String dirPath = args[0];
        String propKey0 = "dir.num-files";
        String propVal0 = "-1";
        String propKey1 = "dir.age";
        String propVal1 = "-1";
        System.out.println("Directory path: '"+dirPath+"'");

        Configuration conf = new Configuration();
        FileSystem fs = FileSystem.get(conf);
        Path hadoopDir = new Path(dirPath);
        if (fs.exists(hadoopDir)){
              FileStatus[] files = FileSystem.get(conf).listStatus(hadoopDir);
              int numFilesInDir = files.length;
              propVal0 = Integer.toString(numFilesInDir);
              long timePassed, daysPassedLong;
              int daysPassed;
              String dirName = hadoopDir.getName();
              String[] dirNameArray = dirName.split("-");
              if (dirNameArray.length == 3) {
                  int year = Integer.valueOf(dirNameArray[0]);
                  int month = Integer.valueOf(dirNameArray[1]) - 1; //months are 0 based
                  int date = Integer.valueOf(dirNameArray[2]);
                  GregorianCalendar dirCreationDate = new GregorianCalendar(year,
                        month, date);
                  timePassed = (new GregorianCalendar()).getTimeInMillis()
                        - dirCreationDate.getTimeInMillis();
                  daysPassed = (int) = timePassed / 1000 / 60 / 60 / 24;;
                  propVal1 = Integer.toString(daysPassed);
              }
        }
        String oozieProp = System.getProperty(OOZIE_ACTION_OUTPUT_PROPERTIES);
        if (oozieProp != null) {
              File propFile = new File(oozieProp);
              Properties props = new Properties();
              props.setProperty(propKey0, propVal0);
              props.setProperty(propKey1, propVal1);
              OutputStream os = new FileOutputStream(propFile);
              props.store(os, "");
              os.close();
        } else
              throw new RuntimeException(OOZIE_ACTION_OUTPUT_PROPERTIES
                        + " System property not defined");
    }
}

代码2： 获得目录信息的节点

这个类会获得目录名作为输入的参数，并首先检查该目录是否存在。如果目录不存在，那么存在时间（age）和文件数量都会返回-1，否则，这两个值就会返回给子过程。

子过程的下一步是一个switch（决定）声明，它会决定如何处理目录。如果目录不存在（文件数 < 0），或者是当前日期（存在时间 < 1）并且文件数量少于24（文件数 < 24），那么子过程就会直接转换到终止状态。如果所有文件都位于子目录中（文件数 > 23）或者目录是在至少七天前创建的（存在时间 > 6），那么就会有如下操作：

  • 使用现存的Map/reduce程序[2]获取数据
  • 目录会备份在数据归档中，然后删除

对action节点的其它配置
获取动作向你展示了另外一些Oozie配置参数，包括：
  • Prepare——如果出现了prepare参数，就意味着在启动作业（job）之前会删除路径列表。这应该专门用于清理目录。删除操作会在fs.default.name文件系统中执行。
  • Configuration——如果出现了configuration元素，它其中就会包含针对Map/Reduce 作业的JobConf属性。它不仅可以用于map/reduce动作， 而且还可以用于启动map/reduce作业的java动作。

如果不是以上两种情况，那么子过程就会发送剩余的邮件，然后退出。邮件是作为另一个java主类实现的（代码3）。

package com.navteq.oozie;

import java.util.Properties;
import javax.mail.Message;
import javax.mail.Session;
import javax.mail.Transport;
import javax.mail.internet.InternetAddress;
import javax.mail.internet.MimeMessage;

public class StandaloneMailer {

    private static String _mServer = "imailchi.navtech.com";
    private static Properties _props = null;

    private StandaloneMailer(){}

    public static void init(String mServer){

        _mServer = mServer;
        _props = new Properties();
        _props.setProperty("mail.smtp.host", _mServer);
    }

    public static void SendMail(String subject, String message, String from, String to) throws Exception {

     // create some properties and get the default Session
     Session session = Session.getDefaultInstance(_props, null);

     // create a message
     Message msg = new MimeMessage(session);

     // set the from and to address
     InternetAddress addressFrom = new InternetAddress(from);
     msg.setFrom(addressFrom);

     String [] recipients = new String[] {to};
     InternetAddress[] addressTo = new InternetAddress[recipients.length];
     for (int i = 0; i < recipients.length; i++){
       addressTo[i] = new InternetAddress(recipients[i]);
     }
     msg.setRecipients(Message.RecipientType.TO, addressTo);

     // Setting the Subject and Content Type
     msg.setSubject(subject);
     msg.setContent(message, "text/plain");
     Transport.send(msg);
    }

    public static void main (String[] args) throws Exception {
        if (args.length ==5){
             init(_mServer);
             StringBuilder subject = new StringBuilder();
             StringBuilder body = new StringBuilder();
             subject.append("Directory ").append(args[2]).append(" contains").append(args[3]).append(" files.");
             body.append("Directory ").append(args[2]).append(" is ").append(args[4]).
             append(" days old and contains only ").append(args[3]).append(" files instead of 24.");
             SendMail(subject.toString(), body.toString(), args[0], args[1]);
        }
        else throw new Exception("Invalid number of parameters provided for email");
    }
}

列表3： 发送提醒邮件

这是使用了javax.mail API的简单实现，用于发送邮件。

主过程的实现

我们已经实现了子过程，然后，对主过程的实现就变得非常简单了（列表4）[3]。

<workflow-app xmlns='uri:oozie:workflow:0.1' name='processDirsWF'>

    <start to='getDirs2Process' />

    <!-- STEP ONE -->
    <action name='getDirs2Process'>
         <!--writes 2 properties: dir.num-files: returns -1 if dir doesn't exist,
              otherwise returns # of files in dir dir.age: returns -1 if dir doesn't exist,
              otherwise returns age of dir in days -->
         <java>
              <job-tracker>${jobTracker}</job-tracker>
              <name-node>${nameNode}</name-node>
              <main-class>com.navteq.oozie.GenerateLookupDirs</main-class>
              <capture-output />
         </java>
         <ok to="forkSubWorkflows" />
         <error to="fail" />
    </action>

    <fork name="forkSubWorkflows">
       <path start="processDir0"/>
       <path start="processDir1"/>
       <path start="processDir2"/>
       <path start="processDir3"/>
       <path start="processDir4"/>
       <path start="processDir5"/>
       <path start="processDir6"/>
       <path start="processDir7"/>
    </fork>

    <action name="processDir0">
         <sub-workflow>
             <app-path>hdfs://sachicn001:8020/user/gtitievs/workflows/ingest</app-path>
             <configuration>
                <property>
                    <name>inputDir</name>
                    <value>hdfs://sachicn001:8020/user/data/probedev/files/${wf:actionData('getDirs2Process')['dir0']}</value>
                </property>
                <property>
                    <name>outputDir</name>
                    <value>hdfs://sachicn001:8020/user/gtitievs/probe-output/${wf:actionData('getDirs2Process')['dir0']}</value>
                </property>
                <property>
                    <name>jobTracker</name>
                    <value>${jobTracker}</value>
                </property>
                <property>
                    <name>nameNode</name>
                    <value>${nameNode}</value>
                </property>
                <property>
                    <name>activeDir</name>
                    <value>hdfs://sachicn001:8020/user/gtitievs/test-activeDir</value>
                </property>
                <property>
                    <name>dirName</name>
                    <value>${wf:actionData('getDirs2Process')['dir0']}</value>
                </property>
            </configuration>
        </sub-workflow>
        <ok to="joining"/>
        <error to="fail"/>
    </action>
….
     <action name="processDir7">
          <sub-workflow>
             <app-path>hdfs://sachicn001:8020/user/gtitievs/workflows/ingest</app-path>
                 <configuration>
                   <property>
                     <name>inputDir</name>
                     <value>hdfs://sachicn001:8020/user/data/probedev/files/${wf:actionData('getDirs2Process')['dir7']}</value>
                   </property>
                   <property>
                     <name>outputDir</name>
                     <value>hdfs://sachicn001:8020/user/gtitievs/probe-output/${wf:actionData('getDirs2Process')['dir7']}</value>
                   </property>
                   <property>
                     <name>dirName</name>
                     <value>${wf:actionData('getDirs2Process')['dir7']}</value>
                   </property>
               </configuration>
          </sub-workflow>
          <ok to="joining"/>
          <error to="fail"/>
     </action>

     <join name="joining" to="end"/>

     <kill name="fail">
          <message>Java failed, error
             message[${wf:errorMessage(wf:lastErrorNode())}]</message>
     </kill>
     <end name='end' />
</workflow-app>

代码4： 数据获取主过程

这个过程首先会触发java节点，计算需要处理的目录列表（列表5），然后对每个目录执行子过程，从而处理给定的目录。

package com.navteq.oozie;

import java.io.File;
import java.io.FileOutputStream;
import java.io.OutputStream;
import java.util.Calendar;
import java.util.GregorianCalendar;
import java.util.Properties;

public class GenerateLookupDirs {

    public static final long dayMillis = 1000 * 60 * 60 * 24;
    private static final String OOZIE_ACTION_OUTPUT_PROPERTIES = "oozie.action.output.properties";

    public static void main(String[] args) throws Exception {
        Calendar curDate = new GregorianCalendar();
        int year, month, date;
        String propKey, propVal;

        String oozieProp = System.getProperty(OOZIE_ACTION_OUTPUT_PROPERTIES);
        if (oozieProp != null) {
            File propFile = new File(oozieProp);
            Properties props = new Properties();

            for (int i = 0; i<8; ++i)
            {
                 year = curDate.get(Calendar.YEAR);
                 month = curDate.get(Calendar.MONTH) + 1;
                 date = curDate.get(Calendar.DATE);
                 propKey = "dir"+i;
                 propVal = year + "-" +
                         (month < 10 ? "0" + month : month) + "-" +
                         (date < 10 ? "0" + date : date);
                 props.setProperty(propKey, propVal);
                 curDate.setTimeInMillis(curDate.getTimeInMillis() - dayMillis);
            }
            OutputStream os = new FileOutputStream(propFile);
            props.store(os, "");
            os.close();
        } else
            throw new RuntimeException(OOZIE_ACTION_OUTPUT_PROPERTIES
                     + " System property not defined");
    }
}

代码5： 目录计算程序

结论

在这篇文章中，我们向你展示了一个更复杂的完整的工作流示例，它让我们可以演示更多的Oozie特性以及对它们的应用。在下一篇文章中，我们会讨论构建可重用的Oozie组件库，并使用自定义的节点扩展Oozie。

致谢

非常感谢我们在Navteq的同事Gregory Titievsky，他为我们实现了大部分代码。

关于作者

Boris Lublinsky是NAVTEQ公司的首席架构师，在这家公司中他的工作是为大型数据管理和处理、SOA以及实现各种NAVTEQ的项目定义架构的愿景。他还是InfoQ的SOA编辑，以及OASIS的SOA RA工作组的参与者。Boris是一位作者，还经常发表演讲，他最新的一本书是《Applied SOA》。

Michael Segel在过去二十多年间一直与客户写作，识别并解决他们的业务问题。Michael已经作为多种角色、在多个行业中工作过。他是一位独立顾问，总是期望能够解决所有有挑战的问题。Michael拥有俄亥俄州立大学的软件工程学位。

参考信息

1. Boris Lublinsky，Mike Segel 《Oozie简介》

「已注销」
关注
专栏目录
Oozie从入门到实战
freedom2018的博客
07-24 403
Oozie 第1章 Oozie简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。 第2章 Oozie的功能模块介绍 2.1 模块 Workflow 顺序执...
Oozie4.2 安装部署、以及example测试
weixin_34362991的博客
05-03 120
编译： 使用的环境是：Hadoop2.6.0、Spark1.4.0、Hive0.13.1、Sqoop1.4.4 编译Oozie的命令：./mkdistro.sh -Phadoop-2 -Dhadoop.auth.version=2.6.0 -Ddistcp.version=2.6.0 -Dsqoop.version=1.4.4 -Dhive.version=0.13.1 -Dpig.version...
oozie实战
散步的博客
10-01 227
oozie安装好了之后，需要测试oozie的功能是否完整好使，官方已经给自带带了各种测试案例，可以通过官方提供的各种案例来学习oozie的使用，后续也可以把这些案例作为模板在企业实际中使用。 先把官方提供的各种案例给解压出来 cd /export/servers/oozie-4.1.0-cdh5.14.0 tar -zxvf oozie-examples.tar.gz 创建统一的工作目录，便于集中管理oozie。企业中可任意指定路径。这里直接在oozie的安装目录下面创建工作目录 cd /e.
java调用oozie接口,使用Java代码生成Oozie工作流
weixin_39760857的博客
02-16 215
Looking through Oozie examples and documentation, it looks like you need a workflow file in order to run an oozie job from Java code. Is ther any way to submit a job directly fro Java code, without ne...
springboot集成Oozie实战
LuisChen的博客
12-01 1104
前提： 关于hadoop的集成，请参考另外一篇文章，这里就过多的赘述： springboot集成hadoop实战 maven坐标 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-common</artifactId> <version>${hadoop.version}&
data-request-lgd:带Oozie Client的Spring Web应用程序
03-30
Oozie工作流程是通过OozieClient API提交和监视的。 它们包括 一个Hive动作，负责创建Pig作业输出表 读取先前存在的Hive表并填充上一步创建的表的Pig作业 在Pig作业的输出表上发出Impala刷新/无效元数据语句的Java...
Oozie的使用
01-20
下面将详细介绍如何使用Oozie进行不同类型的作业调度。 1. **Oozie调度Shell脚本** - **解压官方示例模板**：首先，你需要从Oozie的安装包中解压缩示例模板，例如`oozie-examples.tar.gz`。 - **创建工作目录**...
oozie使用整理
09-21
- **JAVA API**：提供了 Java 接口，允许开发者编写 Java 应用来与 Oozie 交互。 - **REST API**：基于 HTTP 协议的 API，支持远程管理和监控 Oozie 作业。 - **Web UI**：仅支持查看状态的图形化用户界面，不...
Oozie大数据调度系统从入门到精通视频教程
10-21
1.Oozie的应用场景 2.Oozie的功能及模块 3.Oozie的与MR的关系 4.Oozie的工作流实现原理 5.Oozie中的特殊概念Action 6.Hadoop的集成配置 7.Oozie的部署配置 第三章：Oozie调度开发实战 1.Shell脚本工作流...
oozie-4.3.0
10-25
此外，它还提供了 RESTful API，使得开发人员可以方便地集成 Oozie 到自己的应用程序中，进行远程操作和状态查询。 6. **安全特性:** Oozie 支持 Hadoop 的安全特性，如 Kerberos 认证，确保了在集群中的安全操作。...
Netty进阶之路-跟着案例学Netty
05-16
Netty进阶之路，跟着案例学Netty，李林峰大神新作。值得一读。
《Netty进阶之路 跟着案例学Netty》_李林锋_
05-30
Netty进阶之路 跟着案例学Netty 整本书无密码，Netty进阶之路 跟着案例学Netty
java oozie任务状态_Oozie工作流分析
weixin_33132819的博客
02-26 640
我们在实际的生成操作中经常需要将一些任务在晚上开启进行定时执行，或者多个作业，例如hive,mapreduce,shell等任务的组合调用。我们可以使用linux的contab + spervisor + inotify-tool进行任务的配值，但是操作起来麻烦，而且没有可视化的参数返回界面。也不能保证任务的可靠性。在hadoop技术栈中我们可以使用oozie做为任务的调度与定时触发的工具。可以方...
美团T9分享官方进阶文档：Nginx+Netty跟着案例学这两份开源手册
代码界的扛把子
08-13 574
Nginx是著名的Web服务器，性能优异，运行效率远超传统的Apache、Tomcat, 广泛应用于国内外诸多顶级互联网公司。 Nginx的一个突出特点是其灵活优秀的模块化架构，可以在不修改核心的前提下增加任意功能，自2004年发布至今，已经拥有百余个官方及非官方的功能模块(如proxy、 mysql、 redis、 rtmp、 lua等)，使得Nginx成长为了一个近乎“全能”的服务器软件。 Nginx功能强大，架构复杂，学习、维护和开发的门槛较高。为了帮助读者跨越这一-障碍， 本书深入最新的...
JAVA API调用OOZIE作业运行
nuoyahadili8的博客
01-04 6741
不废话直接上代码： import java.io.IOException; import java.security.PrivilegedExceptionAction; import java.util.Properties; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Fil
JAVA端通过Oozie Client 启动Oozie任务
杂记
09-07 7492
oozie虽然内置了条件触发，但有时当我们的触发条件比较复杂的时候，可以使用java程序来控制其运行，而oozie同样提供了client端供使用。 通过OozieClient 端设置conf Workflow.xml指定任务内所需配置文件等信息，如hive的配置文件等。 需要注意必须指定user.name，否则将导致权限错误，使程序一直处于Hold状态。 1、JAVA端调用
java调用oozie接口_JAVA API调用OOZIE作业运行
weixin_33483567的博客
02-16 511
不废话直接上代码：import java.io.IOException;import java.security.PrivilegedExceptionAction;import java.util.Properties;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import...
java 调用oozie 实例_oozie 默认系统库位置和java代码调用oozie指定具体位置jar写法...
weixin_42367557的博客
02-27 240
http://blog..net/bluishglc/article/details/46005269这个链接是说 关于oozie系统库systm lib path hdfs设定位置http://ju.outofmemory.cn/entry/31134这个链接是说 Oozie 出现 ClassNotFoundException 解决方法关于在 workflow的job.properties中设置...
oozie捕获标准输出&异常capture-output
qq_38472465的博客
08-09 165
oozie捕获标准输出&异常capture-output
OOzie：大数据工作流调度利器与实战应用
大数据任务调度文档深入探讨了Oozie，一个在Hadoop生态系统中广泛应用的工作流调度系统。Oozie的核心功能是作为一个工作流引擎，它允许用户设计和管理一系列Hadoop作业任务，按照预定义的逻辑顺序执行，形成有向无环...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值