oozie自定义action，以操作mysql为例（工作回忆录）

最新推荐文章于 2023-05-19 17:20:27 发布
最新推荐文章于 2023-05-19 17:20:27 发布
阅读量791 收藏
点赞数
分类专栏： oozie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/L_15156024189/article/details/106891975
版权

目录

创建java项目

添加依赖

自定义action

定义schema

项目打包

oozie-site.xml添加配置

job.properties

workflow.xml

测试

本文以oozie-5.2.0.tar.gz为例。

创建java项目

使用IDEA开发工具创建一个java项目，目录结构如图：

 

添加依赖

jdom-1.1.jar
oozie-client-5.2.0.jar
oozie-core-5.2.0.jar

这三个包在oozie安装目录的lib目录下。

 

自定义action

代码如下：

package com.leboop.www;

import org.apache.oozie.action.ActionExecutor;
import org.apache.oozie.action.ActionExecutorException;
import org.apache.oozie.client.WorkflowAction;
import org.apache.oozie.util.XmlUtils;
import org.jdom.Element;
import org.jdom.JDOMException;
import org.jdom.Namespace;

import java.io.PrintWriter;
import java.sql.*;
import java.util.HashSet;
import java.util.Set;


/**
 * Created by leboop on 2020/6/21.
 */
public class SyncMysqlActionExecutor extends ActionExecutor {
    // 自定义节点类型
    private static final String ACTION_TYPE = "sync-mysql";
    // 自定义节点命名空间
    private static final String NAMESPACE = "uri:oozie:sync-mysql-action:0.1";
    // 自定义节点的元素
    private static final String JDBC_URL = "jdbc-url";
    private static final String SQL = "sql";
    private static final String SQL_OUTPUT_FILE_PATH = "sql-output-file-path";
    // mysql驱动
    private static final String DRIVER = "com.mysql.jdbc.Driver";
    private static Set<String> COMPLETED_STATUS = new HashSet<String>();

    // 无参构造
    public SyncMysqlActionExecutor() {
        super(ACTION_TYPE);
    }

    // 静态块
    static {
        COMPLETED_STATUS.add("SUCCEEDED");
        COMPLETED_STATUS.add("KILLED");
        COMPLETED_STATUS.add("FAILED");
        COMPLETED_STATUS.add("FAILED_KILLED");
    }

    @Override
    public void initActionType() {
        super.initActionType();
    }

    public void start(Context context, WorkflowAction workflowAction) throws ActionExecutorException {
        Element actionXml = null;
        try {
            actionXml = XmlUtils.parseXml(workflowAction.getConf());
            Namespace ns = Namespace.getNamespace(NAMESPACE);

            String jdbcUrl = actionXml.getChildTextTrim(JDBC_URL, ns);
            String sql = actionXml.getChildTextTrim(SQL, ns);
            String sqlOutputFilePath = actionXml.getChildTextTrim(SQL_OUTPUT_FILE_PATH, ns);

            runMysql(jdbcUrl, sql, sqlOutputFilePath);

            context.setExecutionData("OK", null);

        } catch (JDOMException e) {
            e.printStackTrace();
        }
    }

    public void end(Context context, WorkflowAction workflowAction) throws ActionExecutorException {
        if (workflowAction.getExternalStatus().equals("OK")) {
            context.setEndData(WorkflowAction.Status.OK, WorkflowAction.Status.OK.toString());
        } else {
            context.setEndData(WorkflowAction.Status.ERROR, WorkflowAction.Status.ERROR.toString());
        }
    }

    public void check(Context context, WorkflowAction workflowAction) throws ActionExecutorException {
        throw new UnsupportedOperationException();
    }

    public void kill(Context context, WorkflowAction workflowAction) throws ActionExecutorException {
        context.setEndData(WorkflowAction.Status.KILLED, "ERROR");
    }


    public boolean isCompleted(String s) {
        return COMPLETED_STATUS.contains(s);
    }


    private void runMysql(String jdbcUrl, String sql, String sqlOutputFilePath) throws ActionExecutorException {
        Connection connect = null;
        Statement statement = null;
        ResultSet resultSet = null;

        try {
            Class.forName(DRIVER);
            connect = DriverManager.getConnection(jdbcUrl);
            statement = connect.createStatement();
            resultSet = statement.executeQuery(sql);
            writeResultSet(resultSet, sqlOutputFilePath);
        } catch (Exception e) {
            throw convertException(e);
        } finally {
            try {
                if (resultSet != null)
                    resultSet.close();
                if (statement != null)
                    statement.close();
                if (connect != null)
                    connect.close();
            } catch (Exception e) {
                throw convertException(e);
            }
        }

    }

    private void writeResultSet(ResultSet resultSet, String sqlOutPutFilePath) throws Exception {
        PrintWriter out;
        if (sqlOutPutFilePath != null && sqlOutPutFilePath.length() > 0) {
            out = new PrintWriter(sqlOutPutFilePath);
        } else {
            out = new PrintWriter(System.out);
        }

        ResultSetMetaData metaData = resultSet.getMetaData();
        while (resultSet.next()) {
            for (int i = 1; i <= metaData.getColumnCount(); i++) {
                out.println(metaData.getColumnName(i) + "=" + resultSet.getString(i));
            }
        }
        out.close();
    }

}

 

定义schema

sync_mysql-0.1.xsd 如下：

<?xml version="1.0" encoding="UTF-8"?>
<!--
  Licensed to the Apache Software Foundation (ASF) under one
  or more contributor license agreements.  See the NOTICE file
  distributed with this work for additional information
  regarding copyright ownership.  The ASF licenses this file
  to you under the Apache License, Version 2.0 (the
  "License"); you may not use this file except in compliance
  with the License.  You may obtain a copy of the License at

       http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License.
-->
<xs:schema xmlns:xs="http://www.w3.org/2001/XMLSchema"
           xmlns:sync-mysql="uri:oozie:sync-mysql-action:0.1" elementFormDefault="qualified"
           targetNamespace="uri:oozie:sync-mysql-action:0.1">

    <xs:element name="sync-mysql" type="sync-mysql:sync_mysql_type"/>
    <xs:complexType name="sync_mysql_type">
        <xs:sequence>
            <xs:element name="jdbc-url" type="xs:string" minOccurs="1" maxOccurs="1"/>
            <xs:element name="sql" type="xs:string" minOccurs="1" maxOccurs="1"/>
            <xs:element name="sql-output-file-path" type="xs:string" minOccurs="0" maxOccurs="1"/>
        </xs:sequence>
    </xs:complexType>
</xs:schema>

 

项目打包

打瘦包即可，如图：

将包拷贝到oozie安装目录lib下。

 

oozie-site.xml添加配置

内容如下：

<property>
     <name>oozie.service.ActionService.executor.ext.classes</name>
     <value>com.leboop.www.SyncMysqlActionExecutor</value>
 </property>
 <property>
     <name>oozie.service.SchemaService.wf.ext.schemas</name>
     <value>sync_mysql-0.1.xsd</value>
 </property>
重启oozie server。

 

job.properties

nameNode=hdfs://single:9000
jobTracker=single:8032
queueName=default
examplesRoot=jobs
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/user/root/${examplesRoot}/sync-mysql
jdbcURL=jdbc:mysql://192.168.128.1:3306/oozie?user=root&password=root
sql=select * from oozie_sys;
SQL_OUTPUT_PATH=/out/result.txt

需要在Linux上创建/out/result.txt文件。

 

workflow.xml

<?xml version="1.0" encoding="UTF-8"?>
<!--
 Licensed to the Apache Software Foundation (ASF) under one
 or more contributor license agreements.  See the NOTICE file
 distributed with this work for additional information
 regarding copyright ownership.  The ASF licenses this file
 to you under the Apache License, Version 2.0 (the
 "License"); you may not use this file except in compliance
 with the License.  You may obtain a copy of the License at
 http://www.apache.org/licenses/LICENSE-2.0
 Unless required by applicable law or agreed to in writing, software
 distributed under the License is distributed on an "AS IS" BASIS,
 WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
 See the License for the specific language governing permissions and
 limitations under the License.
-->
<workflow-app xmlns="uri:oozie:workflow:0.5" name="sync-mysql-wf">
        <start to="sync-mysql-node"/>
        <action name="sync-mysql-node">
                <sync-mysql xmlns="uri:oozie:sync-mysql-action:0.1">
                        <jdbc-url>${jdbcURL}</jdbc-url>
                        <sql>${sql}</sql>
                        <sql-output-file-path>${SQL_OUTPUT_PATH}</sql-output-file-path>
                </sync-mysql>
                <ok to="end"/>
                <error to="fail"/>
        </action>
        <kill name="fail">
                <message>syncMysql failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
        </kill>
        <end name="end"/>
</workflow-app>

需要将workflow.xml拷贝到job.properties配置的oozie.wf.application.path路径下。

 

测试

oozie job -config job.properties -run

如图：

查看日志：

oozie job -info 0000004-200621162902099-oozie-root-W

如图：

 最后会将查询oozie数据库中oozie_sys表的内容：

输出到/out/result.txt文件中，内容如下：

name=db.version
data=4
name=oozie.version
data=5.2.0

 

ErbaoLiu
关注
专栏目录
oozie（4.1.0）架构及二次开发流程
moxuqiang_dm的博客
08-21 6700
oozie架构图 从oozie的架构图中，可以看到所有的任务都是通过oozie生成相应的任务客户端，并通过任务客户端来提交相应的任务； 对oozie的二次开发都集中在了oozie server那里，其实官网是有自定义例子：http://oozie.apache.org/docs/4.2.0/DG_CustomActionExecutor.html ，但如果了解oozie项目的代码架构有助于二次开
Alex 的 Hadoop 菜鸟教程: 第20课 工作流引擎 Oozie
热门推荐
软件哲学
03-04 2万+
简单的说Oozie是一个工作流引擎。只不过它是一个基于Hadoop的工作流引擎，在实际工作中，遇到对数据进行一连串的操作的时候很实用，不需要自己写一些处理代码了，只需要定义好各个action，然后把他们串在一个工作流里面就可以自动执行了。对于大数据的分析工作非常有用。本教程说明了oozie的概念、安装和使用，通过一个例子来让大家感性的认识oozie工作流
Oozie定义Action
qq_37466989的博客
11-01 326
Oozie定义Action ​ Oozie的action更具执行方式分两类，同步和异步。同步是指在Oozie服务器上执行同步动作，并阻塞执行线程，直到它完成（这种模式会影响Ooize Server的性能不推荐使用），像email、ssh 等action通过oozie Server自身调用相关jar，不在hadoop集群中启动mapper任务的就是同步action；异步是启动一个异步动作，并立即返回...
Oozie之JavaAction测试实例
07-22
使用oozie的流程，以javaAction为例 该实例可以编写自己的Main函数，通过参数传递给oozie，并可以获取oozie的输出，作为action的下一步判断。
Oozie-自定义实现WorkFlow中shell action
weixin_33807284的博客
05-03 198
拷贝默认的shell目录来进行修改 $ cp -r ./examples/apps/shell/ my-apps/ 定义job.properties nameNode=hdfs://bigdata-00:8020 jobTracker=bigdata-00:8032 queueName=default examplesRoot=user/wulei/my-apps/shell #定义workf...
Oozie分布式工作流——Action节点
weixin_33736832的博客
03-02 109
前篇讲述了下什么是流控制节点，本篇继续来说一下什么是 Action Nodes操作节点。Action节点有一些比较通用的特性： Action节点是远程的 所有oozie创建的计算和处理任务都是异步的，没有任何应用是工作在oozie内部的。基本上都是创建一个oozie任务，oozie任务会以map的形式，在各个节点再创建相应的任务。因此当你执行spark任务的时候，就会发现yarn集群监控列表里...
Ooze 扩展自定义action节点
pt707621764的专栏
06-16 478
大家好，我是crazy_老中医，我写程序就像老中医一样，全凭感觉和经验，但是有用！ 废话不多说，现在开始正文，本文将阐述如何扩展一个自定义oozie action节点。 准备阶段 oozie安装 略。 个人建议用Ambari管理工具进行安装，省心省事。 扩展action节点功能分析 本文扩展的action节点主要实现： 1、根据URL参数发送http请求（应用场景：工作流执行完毕后...
自定义oozie action 节点
最新发布
weixin_44960490的博客
05-19 127
自定义 oozie action
走向云计算之工作流引擎Oozie
想作会飞的鱼的博客
06-21 611
一、概述 目前计算框架和作业类型繁多：包括MapReduce Java、Streaming、HQL、Pig等，如何对这些框架和作业进行统一管理和调度是我们需要面临的一个问题。目前有多种解决方案：可以使用Crontab，也可以自己设计调度系统，还可以直接使用开源系统。 如果我们自己设计调度系统，可以通过crontab+shell来实现，如下所示： //mapreduce_job.sh cmd=
Oozie-简介及部署
liberty12345678的专栏
01-20 604
1、Oozie简介 1.1、Oozie简介 现实业务中处理数据时不可能只包含一个MR操作，一般都是多个MR，并且中间还可能包含多个Java或HDFS，甚至是shell的操作，利用Oozie可以完成这些任务。 实际上Oozie不是仅用来配置多个MR工作流的，它可以是各种程序夹杂在一起的工作流，比如执行一个MR1后，接着执行一个java脚本，再执行一个shell脚本，接着是Hive脚本，然后又是...
oozie mysql数据库表
11-07
oozie mysql数据库表结构。文档里是oozie mysql的建表语句
MySQL ：oozie建表sql
03-08
Hadoop oozie启动或运行报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist 解决方案：oozie建表sql,直接下载，执行即可。
Oozie工作流调度的使用与配置
Oozie是一个用于协调和管理Apache Hadoop作业的工作流引擎。它允许用户定义一个由不同类型作业（例如MapReduce、Pig、Hive、Sqoop等）组成的工作流，然后按照定义的顺序和条件进行执行。 ## 1.2 Oozie的核心概念 ...
Oozie4.3.1各种Action及综合实例
fansy1990的专栏
08-10 1273
Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（二） 如果没有编译好Oozie，并部署到集群，请参考：Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一） Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（二） 1. 准备工作 2. Hive...
oozie 新建自定义节点(custom action node)
Kinney小黑
12-05 660
重要的话说在前面——无论找了多少篇别人的教程，自己一定要按官方文档一步一步做！ 放上oozie该小节官方文档: http://oozie.apache.org/docs/5.0.0/DG_CustomActionExecutor.html 本文自定义的是Synchronous Node oozie的自定义action用java编写，maven的依赖如下 &lt;dependen...
oozie调用java实例------Java action
weixin_30664615的博客
08-30 475
Oozie支持Java action ,Java action 会自动执行workflow任务中制定的java类中的 public static void main(String[] args)方法,会在hadoop集群上以单mapper task的形式执行一个map-reduce job. workflow任务会等待当前java程序执行完继续执行下一个action,这意味着我们可以写多个ac...
oozie调用java实例------shell action
weixin_30412013的博客
08-30 253
Oozie提供了一个方便的方式来运行任何命令。这可能是Unix命令，Perl或Python脚本，甚至java程序都可以通过Unix shell调用。shell命令运行在任意的Hadoop集群节点上，并且运行在结点上的命令必须保证可在本地可用。 本地提交: 　　格式:java -cp 全类名(包名.类名) -jar jar包名字 　　实例如下: 　　　　java -cp ...
java action例子_oozie调用java实例------Java action
weixin_33391446的博客
02-16 199
Oozie支持Java action ,Java action 会自动执行workflow任务中制定的java类中的 public static void main(String[] args)方法,会在hadoop集群上以单mapper task的形式执行一个map-reduce job.workflow任务会等待当前java程序执行完继续执行下一个action,这意味着我们可以写多个actio...
OOzie调度sqoop1 Action 从mysql导入数据到hive
cihongmo6452的博客
09-23 312
： 1、安装好mysql、Hadoop、oozie、hive 2、上面安装的软件皆可正确执行 开始： 用oozie调度sqoop1 Action 需要准备三个基本文件，workflow.xml、job.properties、hive-site.xml（其实也可以不要，后面会说）...
Oozie JavaAction：任务参数传递与自定义Java应用执行
Oozie-JavaAction是Apache Oozie工作流管理工具中的一个重要组件，用于在Hadoop集群环境中执行用户自定义的Java应用程序。JavaAction允许工作流将任务参数传递给下一个节点，并通过控制Java主类（main()方法）的执行...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

ErbaoLiu

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值