大数据作协框架Oozie

最新推荐文章于 2023-04-11 20:57:22 发布
最新推荐文章于 2023-04-11 20:57:22 发布
阅读量2.4k 收藏 1
点赞数
分类专栏： Oozie框架 文章标签： 大数据 Oozie
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/youfashion/article/details/51029155
版权

大数据作协框架Oozie

标签（空格分隔）： 大数据

一，概述

  • 大数据协作框架是一个桐城，就是Hadoop2生态系统中几个辅助的Hadoop2.x框架。主要如下：
    1，数据转换工具Sqoop
    2，文件搜集框架Flume
    3，任务调度框架Oozie
    4，大数据Web工具Hue

  • 任务调度框架
    1，Linux Crontab
    2，Azkaban –https://azkaban.github.io/
    3，Ozie –http://oozie.apache.org/ 功能强大 难度大
        工作流调度
        协作调度（定时，数据可用性）
        binder(批量)
    4，Zeus –https://github.com/michael8335/zeus2

  • Oozie概述

  • 001.png-27.3kB
Oozie is a workflow scheduler system to manage Apache Hadoop jobs.
Oozie Workflow jobs are Directed Acyclical Graphs (DAGs) of actions.

001.jpg-13.8kB

Oozie Coordinator jobs are recurrent Oozie Workflow jobs triggered by time (frequency) and data availabilty.

001.jpg-10.6kB

Oozie is integrated with the rest of the Hadoop stack supporting several types of Hadoop jobs out of the box (such as Java map-reduce, Streaming map-reduce, Pig, Hive, Sqoop and Distcp) as well as system specific jobs (such as Java programs and shell scripts).

001.jpg-15.9kB

Oozie is a scalable, reliable and extensible system.
1,一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对Hadoop Mapreduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。

2，Oozie工作流定义，同Jboss jBPM提供的jPDL一样，提供了类似的流程定义语言hPDL,通过XML文件格式来实现流程的定义。对于工作流系统，一般会有很多不同功能的节点，比如分支，并发，汇合等等。

3，Oozie定义了控制流节点（Control Flow Nodes）和动作节点（Action Nodes）,其中控制流节点定义了流程的开始和结束，以及控制流程的执行路径（Execution Path）,如decision,fork,join等;而动作节点包括Haoop map-reduce hadoop文件系统，Pig,SSH,HTTP,eMail和Oozie子流程

001.png-13.2kB

  • Oozie Server Architecture

无标题.png-14.7kB

Oozie Server Components
001.jpg-86.1kB

二，Oozie的安装和部署

tar -zxf oozie-4.0.0-cdh5.3.6.tar.gz -C /opt/app
  • It is recommended to use a Oozie Unix user for the Oozie server.
sudo adduser oozie
sudo passwd oozie
  • Configure the Hadoop cluster with proxyuser for the Oozie process.
    The following two properties are required in Hadoop core-site.xml:
 <property>
    <name>hadoop.proxyuser.hadoop001.hosts</name>
    <value>*</value>
  </property>
  <property>
    <name>hadoop.proxyuser.hadoop001.groups</name>
    <value>*</value>
  </property>

Hadoop集群安装在A账户下，OOZIE安装在某节点的B账户下，该账户属于C用户组。那么代理设置表示如下含义：A账户在该节点拥有代替C用户组提交任务的权限。Hadoop集群安装在A账户下，OOZIE安装在某节点的B账户下，该账户属于C用户组。那么代理设置表示如下含义：A账户在该节点拥有代替C用户组提交任务的权限。

  • Expand the Oozie hadooplibs tar.gz in the same location Oozie distribution tar.gz was expanded
tar -zxf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz -C ../
  • Create a libext/ directory in the directory where Oozie was expanded.
mkdir libext
  • If using a version of Hadoop bundled in Oozie hadooplibs/ , copy the corresponding Hadoop JARs from hadooplibs/ to the libext/ directory. If using a different version of Hadoop, copy the required Hadoop JARs from such version in the libext/ directory.
cp -r ./* /opt/app/oozie-4.0.0-cdh5.3.6/libext/
  • If using the ExtJS library copy the ZIP file to the libext/ directory.
cp ext-2.2.zip /opt/app/oozie-4.0.0-cdh5.3.6/libext
  • Run the oozie-setup.sh script to configure Oozie with all the components added to the libext/ directory.
$ bin/oozie-setup.sh prepare-war
  • Create the Oozie DB using the ‘ooziedb.sh’ command line tool:
$ bin/ooziedb.sh create -sqlfile oozie.sql -run
  • A “sharelib create -fs fs_default_name [-locallib sharelib]” command is available when running oozie-setup.sh for uploading new sharelib into hdfs where the first argument is the default fs name and the second argument is the Oozie sharelib to install, it can be a tarball or the expanded version of it. If the second argument is omitted, the Oozie sharelib tarball from the Oozie installation directory will be used. Upgrade command is deprecated, one should use create command to create new version of sharelib. Sharelib files are copied to new lib_ directory. At start, server picks the sharelib from latest time-stamp directory. While starting server also purge sharelib directory which is older than sharelib retention days (defined as oozie.service.ShareLibService.temp.sharelib.retention.days and 7 days is default).
$ bin/oozie-setup.sh sharelib create \
-fs hdfs://xingyunfei001.com.cn \
-locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz

  • Start Oozie as a daemon process run:

    $ bin/oozied.sh start

  • 查看

http://xingyunfei001.com.cn:11000/oozie/

001.jpg-25kB

三，运行测试example

  • Oozie examples are bundled within the Oozie distribution in the oozie-examples.tar.gz file.
tar -zxf oozie-examples.tar.gz
  • The examples/ directory must be copied to the user HOME directory in HDFS:
[hadoop001@xingyunfei001 hadoop_2.5.0_cdh]$ bin/hdfs dfs -put /opt/app/oozie-4.0.0-cdh5.3.6/examples
  • 修改job.properties文件
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
# 
#      http://www.apache.org/licenses/LICENSE-2.0
# 
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

nameNode=hdfs://xingyunfei001.com.cn:8020
jobTracker=xingyunfei001.com.cn:8032
queueName=default
examplesRoot=examples

oozie.wf.application.path=${nameNode}/user/hadoop001/${examplesRoot}/apps/map-reduce/workflow.xml
outputDir=map-reduce
  • 修改oozie-site.xml文件
<property>
    <name>oozie.service.HadoopAccessorService.hadoop.configurations</name>
    <value>*=/opt/app/hadoop_2.5.0_cdh/etc/hadoop</value>
    <description>
        Comma separated AUTHORITY=HADOOP_CONF_DIR, where AUTHORITY is the HOST:PORT of
        the Hadoop service (JobTracker, HDFS). The wildcard '*' configuration is
        used when there is no exact match for an authority. The HADOOP_CONF_DIR contains
        the relevant Hadoop *-site.xml files. If the path is relative is looked within
        the Oozie configuration directory; though the path can be absolute (i.e. to point
        to Hadoop client conf/ directories in the local filesystem.
    </description>
</property>
  • 重新启动oozie
$ bin/oozied.sh stop
$ bin/oozied.sh start
  • run an example application:
$ bin/oozie job -oozie http://localhost:11000/oozie -config examples/apps/map-reduce/job.properties -run

–总结
1，job.properties:属性指向workflow.xml所在的HDFS的位置（local）
2，workflow:(hdfs)
*start
*action
–mapreduce/shell
–ok
–error
*kill
*end
3,lib:依赖的jar包(hdfs)

三，wordcount案例实现(map reduce运行)

1,创建相应的工程

mkdir wordcount
cd wordcount
mkdir lib
cp hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar /opt/app/oozie-4.0.0-cdh5.3.6/examples/apps/wordcount/lib/
cp job.properties /opt/app/oozie-4.0.0-cdh5.3.6/examples/apps/wordcount/
cp workflow.xml /opt/app/oozie-4.0.0-cdh5.3.6/examples/apps/wordcount/

2,在hdfs上创建输入输出目录

bin/hdfs dfs -mkdir ooziedir
bin/hdfs dfs -mkdir ooziedir/input
bin/hdfs dfs -mkdir ooziedir/output
bin/hdfs dfs -put /opt/app/hadoop_2.5.0_cdh/etc/hadoop/core-site.xml ooziedir/input/

bin/yarn jar /opt/app/hadoop_2.5.0_cdh/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/hadoop001/ooziedir/input/core-site.xml /user/hadoop001/ooziedir/output/out001

3,编辑job.properties文件

#
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
# 
#      http://www.apache.org/licenses/LICENSE-2.0
# 
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

nameNode=hdfs://xingyunfei001.com.cn:8020
jobTracker=xingyunfei001.com.cn:8032
queueName=default
examplesRoot=examples

oozie.wf.application.path=${nameNode}/user/hadoop001/${examplesRoot}/apps/map-reduce/workflow.xml
inputFile=/user/hadoop001/ooziedir/input/core-site.xml
outputDir=/user/hadoop001/ooziedir/output/outwordcount

4，编辑workflow.xml文件

<!--
  Licensed to the Apache Software Foundation (ASF) under one
  or more contributor license agreements.  See the NOTICE file
  distributed with this work for additional information
  regarding copyright ownership.  The ASF licenses this file
  to you under the Apache License, Version 2.0 (the
  "License"); you may not use this file except in compliance
  with the License.  You may obtain a copy of the License at

       http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License.
-->
<workflow-app xmlns="uri:oozie:workflow:0.2" name="map-wordcount-wf">
    <start to="mr-node"/>
    <action name="mr-node">
        <map-reduce>
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <prepare>
                <delete path="${nameNode}/${outputDir}"/>
            </prepare>
            <configuration>
                    <!--hadoop new api-->
                    <property>
                    <name>mapred.mapper.new-api</name>
                    <value>true</value>
                </property>
                <property>
                    <name>mapred.reducer.new-api</name>
                    <value>true</value>
                </property>
                <!--queue-->
                <property>
                    <name>mapred.job.queue.name</name>
                    <value>${queueName}</value>
                </property>
                <!--1,input-->
                <property>
                    <name>mapred.input.dir</name>
                    <value>${inputFile}</value>
                </property>
                <!--2,mapper-->
                <property>
                    <name>mapreduce.job.map.class</name>
                    <value>org.apache.hadoop.examples.WordCount$TokenizerMapper</value>
                </property>
                <property>
                    <name>mapreduce.map.output.key.class</name>
                    <value>org.apache.hadoop.io.Text</value>
                </property>
                <property>
                    <name>mapreduce.map.output.value.class</name>
                    <value>org.apache.hadoop.io.IntWritable</value>
                </property>
                <!--3,reducer-->
                <property>
                    <name>mapreduce.job.reduce.class</name>
                    <value>org.apache.hadoop.examples.WordCount$IntSumReducer</value>
                </property>
                <property>
                    <name>mapreduce.job.output.key.class</name>
                    <value>org.apache.hadoop.io.Text</value>
                </property>
                <property>
                    <name>mapreduce.job.output.value.class</name>
                    <value>org.apache.hadoop.io.IntWritable</value>
                </property>
                <!--3,output-->
                <property>
                    <name>mapred.output.dir</name>
                    <value>${outputDir}</value>
                </property>

            </configuration>
        </map-reduce>
        <ok to="end"/>
        <error to="fail"/>
    </action>
    <kill name="fail">
        <message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>
    <end name="end"/>
</workflow-app>

5,将本地工程上传到hdfs

bin/hdfs dfs -put /opt/app/oozie-4.0.0-cdh5.3.6/examples/apps/wordcount /user/hadoop001/examples/apps/

6,启动oozie调度

[hadoop001@xingyunfei001 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://localhost:11000/oozie -config examples/apps/wordcount/job.properties -run

002.jpg-63kB

bin/hdfs dfs -text /user/hadoop001/ooziedir/output/outwordcount/part*

001.jpg-54.9kB

总结：
1,nodename的命名长度不要超过20个字符 [a-zA-Z][-_a-zA-Z0-9]

四，hive案例实现(shell)

1,本地创建工作空间

 cp hive shellhive

2,创建shell脚本(hive-select.sh)

 #!/bin/bash

/opt/app/hive_0.13.1_cdh/bin/hive -e "select id,url,ip from db_track.track_log limit 10;"

3,修改job.properties文件

 <!--
  Licensed to the Apache Software Foundation (ASF) under one
  or more contributor license agreements.  See the NOTICE file
  distributed with this work for additional information
  regarding copyright ownership.  The ASF licenses this file
  to you under the Apache License, Version 2.0 (the
  "License"); you may not use this file except in compliance
  with the License.  You may obtain a copy of the License at

       http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License.
-->
<workflow-app xmlns='uri:oozie:workflow:0.4' name='shell-select-wf'>
    <start to='shell-node' />

    <action name='shell-node'>
        <shell xmlns="uri:oozie:shell-action:0.1">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                  <name>mapred.job.queue.name</name>
                  <value>${queueName}</value>
                </property>
            </configuration>

            <exec>${EXEC}</exec>

            <file>${shellFile}#${EXEC}</file>
        </shell>
        <ok to="end" />
        <error to="fail" />
    </action>

    <kill name="fail">
        <message>Script failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>

    <end name='end' />
</workflow-app>

4,将工作目录传到hdfs指定的目录上

 bin/hdfs dfs -put /opt/app/oozie-4.0.0-cdh5.3.6/examples/apps/shellhive /user/hadoop001/examples/apps/

5,执行oozie调度

 bin/oozie job -oozie http://localhost:11000/oozie -config examples/apps/shellhive/job.properties -run

001.jpg-64.1kB

五，coordinate—time trigger

  • 三个要素
    1，开始时间
    2，频率
    3，结束时间
  • 时区
    1，CST：中国标准时间
    2，UTC（协调世界时）==GMT（格林威治时间）
    3，修改系统时区和oozie自带的时区:
--系统时区
[root@xingyunfei001 hadoop001]# cp /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

[root@xingyunfei001 hadoop001]# date -R
--Wed, 30 Mar 2016 22:36:08 +0800
--修改oozie时区
--修改oozie-site.xml配置文件
    <property>
        <name>oozie.processing.timezone</name>
        <value>GMT+0800</value>
    </property>
--重新启动oozie生效
  • 修改js以保持web console显示的时区和oozie设置的时区一致
    001.jpg-21.5kB

六，coodernate实例

1,创建工作环境

[hadoop001@xingyunfei001 apps]$ mkdir cron-test
[hadoop001@xingyunfei001 cron]$ cp coordinator.xml ../cron-test
[hadoop001@xingyunfei001 shellhive]$ cp hive-select.sh ../cron-test
[hadoop001@xingyunfei001 shellhive]$ cp job.properties ../cron-test
[hadoop001@xingyunfei001 shellhive]$ cp workflow.xml ../cron-test

2,修改coordinate.xml配置文件

<coordinator-app name="cron-coord" frequency="${coord:minutes(12)}" start="${start}" end="${end}" timezone="UTC"
                 xmlns="uri:oozie:coordinator:0.2">
        <action>
        <workflow>
            <app-path>${workflowAppUri}</app-path>
            <configuration>
                <property>
                    <name>jobTracker</name>
                    <value>${jobTracker}</value>
                </property>
                <property>
                    <name>nameNode</name>
                    <value>${nameNode}</value>
                </property>
                <property>
                    <name>queueName</name>
                    <value>${queueName}</value>
                </property>
                <property>
                    <name>EXEC</name>
                    <value>${EXEC}</value>
                </property> 
            </configuration>
        </workflow>
    </action>
</coordinator-app>

3,修改job.properties文件

#
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
# 
#      http://www.apache.org/licenses/LICENSE-2.0
# 
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.
#

nameNode=hdfs://bigdata-senior01.ibeifeng.com:8020

jobTracker=bigdata-senior01.ibeifeng.com:8032

queueName=default

examplesRoot=user/hadoop001/examples/apps


oozie.coord.application.path=${nameNode}/${examplesRoot}/cron-test

start=2016-03-31T00:40+0800
end=2016-03-31T00:59+0800

workflowAppUri=${nameNode}/${examplesRoot}/cron-test

EXEC=hive-select.sh

4,修改workflow.xml文件

<workflow-app xmlns="uri:oozie:workflow:0.4" name="emp-select-wf">
    <start to="shell-node"/>

    <action name="shell-node">
        <shell xmlns="uri:oozie:shell-action:0.2">
            <job-tracker>${jobTracker}</job-tracker>
            <name-node>${nameNode}</name-node>
            <configuration>
                <property>
                    <name>mapreduce.job.queuename</name>
                    <value>${queueName}</value>
                </property>
            </configuration>
            <exec>${EXEC}</exec>
                        <file>${nameNode}/${examplesRoot}/cron-test/${EXEC}#${EXEC}</file>
        </shell>
        <ok to="end"/>
        <error to="fail"/>
    </action>

    <kill name="fail">
        <message>Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message>
    </kill>

    <end name="end"/>
</workflow-app>

5,上传本地工程到hdfs上面

bin/hdfs dfs -put /opt/app/oozie-4.0.0-cdh5.3.6/examples/apps/cron-test /user/hadoop001/examples/apps/

6,执行定时计划

$ bin/oozie job -oozie http://localhost:11000/oozie -config examples/apps/cron-test/job.properties -run

001.jpg-32.5kB

七，总结

当前系统时间已经超过计划开始执行时间时，任务开始时系统会立即执行计划，后面的计划按照计划配置的开始时间进行计算

nameNode=hdfs://xingyunfei001.com.cn:8020
jobTracker=xingyunfei001.com.cn:8032
queueName=default
examplesRoot=user/hadoop001/examples/apps
oozie.coord.application.path=${nameNode}/${examplesRoot}/cron-test
start=2016-03-31T18:25+0800
end=2016-03-31T18:40+0800
workflowAppUri=${nameNode}/${examplesRoot}/cron-test
EXEC=hive-select.sh

001.jpg-25.8kB

forrestxingyunfei
关注
专栏目录
大数据技术之Oozie.doc
12-13
Oozie是大数据领域中一个重要的工作流管理系统，它的名字来源于英文“驯象人”，寓意其能有效地管理和调度大数据处理中的复杂任务。Oozie由Cloudera公司贡献给Apache，主要服务于Hadoop生态系统，用于协调和调度...
尚硅谷大数据技术之Oozie1
08-04
总结来说，Oozie是大数据环境中不可或缺的工具，它简化了任务调度和管理，使得开发者能够构建复杂的工作流，同时支持定时触发和灵活的任务执行顺序。在部署Oozie时，要注意与Hadoop的集成和配置，以确保系统稳定运行...
大数据调度工具之Oozie
m0_43405302的博客
02-27 1489
文章目录一、oozie1、Oozie模块1.Workflow2.Coordinator3.Bundle Job2、Oozie的常用节点1.控制流节点（Control Flow Nodes）2.动作节点（Action Nodes）二、Oozie安装1、配置maven环境1.打开文件2.输入以下内容4、验证maven仓库是否配置完成2、下载资源3、编译安装4、安装Oozie5、Hadoop配置修改1.core-site.xml2.mappred-site.xml3.yarn-site.xml6、部署Oozie7
大数据技术之Oozie
weixin_30553837的博客
04-02 137
第1章 Oozie简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop MapReduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。 第2章 Oozie的功能模块介绍 2.1 模块 1) Workfl...
大数据开发之oozie介绍
只是甲的博客
12-14 1145
备注: CDH 6.3.1 oozie 5.1.0 文章目录一.oozie简介二.oozie各个版本架构2.1 v12.2 v22.3 v3参考 一.oozie简介 Oozie是一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。 所谓工作流，即是指数据import进HDFS，然后用hive分析，然后将分析结果集export，把不同的结果集合并成最
大数据调度工具oozie详细介绍
Abysscarry的博客
08-17 2万+
背景： 之前项目中的sqoop等离线数据迁移job都是利用shell脚本通过crontab进行定时执行，这样实现的话比较简单，但是随着多个job复杂度的提升，无论是协调工作还是任务监控都变得麻烦，我们选择使用oozie来对工作流进行调度监控。在此介绍一下oozie~ 注：我的 Oozie server version：[4.1.0 - CDH 5.13.0] 一、官网介绍 首先看官网首...
什么是Oozie——大数据任务调度框架
热门推荐
TNTZS666的博客
08-21 2万+
Oozie简介 Oozie是大数据四大协作框架之一——任务调度框架，另外三个分别为数据转换工具Sqoop,文件收集库框架Flume,大数据WEB工具Hue。 它能够提供对Hadoop MapReduce和Pig Jobs的任务调度与协调。 Oozie需要部署到Java Servlet容器中运行。 功能相似的任务调度框架还有Azkaban和Zeus。 Oo...
大数据视频_Oozie视频教程
06-12
Oozie是大数据生态圈中一个基于工作流的任务调度工具，也是大数据工程师的一个常用工具。在本课程中，你将学习到，Oozie的原理、安装配置、使用Oozie实现调度Shell脚本、逻辑调度多个Shell脚本、直接调度MapReduce...
大数据技术之Oozie入门到精通.txt
04-20
### 大数据技术之Oozie入门到精通 #### 一、Oozie简介与应用场景 **Oozie**是一款开源的工作流调度系统，主要用于在Hadoop生态系统中管理和执行复杂的数据处理任务。它通过定义一系列有依赖关系的操作来实现工作流...
大数据Hadoop之——任务调度器Oozie（Oozie环境部署）
匠人精神，持之以恒！
04-30 3893
文章目录一、概述二、Oozie架构三、Oozie环境部署（Oozie与CDH集成）1）添加服务2）将 Oozie 服务添加到 CDH3）自定义角色分配4）数据库设置5）审核更改6）开始自动安装并自启四、CDH的 Hue 整合 Oozie五、Oozie简单使用1）在Hue上操作Ooize1、利用 Hue 调度 shell 脚本2、利用 Hue 调度 hive 脚本3、 利用 Hue 配置定时调度任务4）CLI操作Ooize六、Oozie与Azkaban对比 一、概述 Oozie是一个基于工作流引擎的开源框架
大数据之oozie的安装
海涛高软
09-30 221
FR：徐海涛（hunk xu) QQ技术交流群：386476712
大数据组件之OOZIE介绍/极速入门
不以物喜的博客
09-10 1144
1 基本概念 在字典中搜索oozie一词，可以看到如下释义： 没错，就是训象人！大象，你想到了什么？没错就是hadoop的logo，一只黄色的小象。所以光从这个翻译来看，你就应该明白oozie是做什么的了吧。接下来我们详细介绍 2 oozie概念 Hadoop常见调度框架： （1）Linux Crontab： Linux自带的任务调度计划，在任务比较少的情况下，可以使用这种方式，直接执行脚本，例如添加一个执行计划： 0 12 * hive -f xxx.sql （2）Azkaban： （3）Oozie：
大数据(十二) - Oozie
weixin_30319097的博客
07-23 64
基本概念 眼下计算框架和作业类型繁多： MapReduce Java、Streaming、HQL、Pig等 怎样对这些框架和作业进行统一管理和调度： 不同作业之间存在依赖关系（DAG）； 周期性作业 定时运行的作业 作业运行状态监控与报警 多种解决方式： ...
【大数据生态】Oozie 入门学习
康师傅没有眼泪
10-31 574
目录 Oozie是什么 Oozie 的架构 Oozie 基本原理 概括的知识框架 Oozie 调度 shell 脚本 Oozie 定时调度 Oozie是什么 Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。由 Cloudera 公司贡献给 Apache。Oozie 是运行于 Java servlet 容器...
大数据Oozie任务调度
赵广陆
04-11 1102
目录1 Oozie 概述2 Oozie 的架构3 Oozie 基本原理3.1 流程节点4 Oozie 工作流类型4.1 WorkFlow4.2 Coordinator4.3 Bundle5 Oozie 和 Hue 整合5.1 修改 hue 配置文件 hue.ini5.2 启动 hue 、oozie5.3 Hue 集成 Oozie5.3.1 使用 hue 配置 oozie 调度5.3.2 利用 hue 调度 shell 脚本5.3.3 利用 hue 调度 hive 脚本5.3.4 利用 hue 调度 MapR
大数据之Oozie学习之路一
Goodera
12-06 276
一、Oozie简介 Oozie英文翻译为：驯象人。一个基于工作流引擎的开源框架，由Cloudera公司贡献给Apache，提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务，多任务可以按照执行的逻辑顺序调度。 二、Oozie的功能模块介绍 2.1 模块 (1) Workflow 顺序执行流程节点，支...
大数据-离线数仓-工作流调度-工具：Ozzie【CHD平台自带】【重量级，功能强大，使用复杂，不易安装】
最新发布
u013250861的博客
04-11 230
大数据-数仓-工作流调度-工具：Ozzie【CHD平台自带】
大数据之任务调度 Oozie详细介绍
weixin_44327656的博客
04-15 1360
Oozie简介           Oozie是一个基于工作流引擎的服务器，可以在上面运行Hadoop的Map Reduce和Pig任务。它其实就是一个运行在Java Servlet容器（比如Tomcat）中的Javas Web应用。      &n...
大数据协作框架之Oozie
象在舞的技术专栏
09-02 436
一、Oozie的介绍 一个基于工作流引擎的开源框架，是由Cloudera公司贡献给Apache的，它能够提供对HadoopMapReduce和Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。Oozie工作流定义，同JBoss jBPM提供的jPDL一样，也提供了类似的流程定义语言hPDL，通过XML文件格式来实现流程的定义。对于工作流系统，一般都
尚硅谷大数据技术：Oozie工作流解析与部署
"这篇文档是关于Oozie的教程，主要涵盖了Oozie的基本概念、功能模块、常用节点以及在CDH版本的Hadoop环境下的部署步骤。...在大数据项目中，Oozie是不可或缺的工具之一，对于实现自动化和高效的批处理流程至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

forrestxingyunfei

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值