Apache Oozie Installation

最新推荐文章于 2024-05-05 09:41:45 发布
最新推荐文章于 2024-05-05 09:41:45 发布
阅读量67 收藏
点赞数
文章标签： 大数据 数据库 java
原文链接：http://blog.51cto.com/candon123/2050665
版权

oozie就是一个workflow协调系统，主要用来管理Hadoop作业(job)。属于web应用程序，由oozie client和oozie server两个组件构成。oozie server运行于java servlet容器（tomcat）中的web程序。由于使用HUE需要oozie的支持，所以先介绍oozie的安装配置，后续增加HUE的安装配置文档。
1、环境介绍
前期已配置好Hadoop集群服务。如下图所示：
Apache Oozie Installation
2、源代码编译
这里下载的是源代码软件包，需要重新编译。
2.1 更改java版本

[hadoop@hdp01 u01]$ wget https://mirrors.cnnic.cn/apache/oozie/4.3.0/oozie-4.3.0.tar.gz
[hadoop@hdp01 u01]$ tar -xzf oozie-4.3.0.tar.gz;mv oozie-4.3.0 oozie
[hadoop@hdp01 u01]$ cd oozie
[hadoop@hdp01 oozie]$ vi pom.xml         --将文件里的targetJavaVersion版本改为1.8

2.2 更改hadoop版本
将hadooplibs下的hadoop-auth-2、hadoop-distcp-2、hadoop-utils-2中的pom.xml里对应的hadoop版本改成系统当前运行的版本2.7.4。
2.3 编译
此编译过程中，需要下载大量的依赖包，比较耗时。我这里网速还好，前后一共用了1小时左右编译完成。

[hadoop@hdp01 ~]$ cd /u01/oozie
[hadoop@hdp01 oozie]$ bin/mkdistro.sh -DskipTests -Dhadoop.version=2.7.4

编译成功后，会在/u01/oozie/distro/target目录下生成二进制软件包。如下图所示：
Apache Oozie Installation
3、安装配置
3.1 安装
这里还是安装在/u01下，将之前的oozie文件夹已迁移到其他目录。

[hadoop@hdp01 ~]$ cd /u01;tar -xzf /u01/oozie/distro/target/oozie-4.3.0-distro.tar.gz
[hadoop@hdp01 u01]$ mv oozie-4.3.0 oozie;cd oozie

编辑oozie-site.xml文件，加入以下内容：

oozie.service.HadoopAccessorService.hadoop.configurations=*=/u01/hadoop/etc/hadoop
oozie.service.WorkflowAppService.system.libpath=hdfs://192.168.120.96:9000/user/hadoop/share/lib
oozie.service.ProxyUserService.proxyuser.#USER#.
oozie.service.ProxyUserService.proxyuser.#USER#.groups

将以上的#USER#替换为运行oozie服务的系统用户。这里为hadoop，如下图所示：
Apache Oozie Installation
3.2 ExtJS library
Oozie的web控制需要一个ExtJS库，而且还需要hadoop的相关库文件，所以需要将hadoop的相关jar文件复制到libext，并下载 js库 :ext-2.2.zip。oozie server默认使用tomcat 6.0.41，而hadoop也有内置的server，如果按照上面两个命令把hadoop依赖的jar包都拷贝过去，有可能出现冲突，这两个server使用的servlet、jsp版本很可能不一样。所以需要删除libext下的以下jar包(我这里只找到jsp-api一个库):

  • jasper-compiler-5.5.23.jar
  • jasper-runtime-5.5.23.jar
  • jsp-api-2.1.jar 
    [hadoop@hdp01 oozie]$ mkdir libext
[hadoop@hdp01 oozie]$ cd libext/
[hadoop@hdp01 libext]$ wget http://archive.cloudera.com/gplextras/misc/ext-2.2.zip
[hadoop@hdp01 libext]$ cp /u01/hive/lib/mysql-connector-java-5.1.44-bin.jar .
[hadoop@hdp01 libext]$ cp /u01/hadoop/share/hadoop/*/*.jar .
[hadoop@hdp01 libext]$ cp /u01/hadoop/share/hadoop/*/lib/*.jar .
[hadoop@hdp01 libext]$ rm -rf jsp-api-2.1.jar

    oozie Server还需要依赖数据库，会把元数据和一些流程信息数据存储在数据库中。这里也一并将mysql的驱动包加进去，方便后续使用MySQL数据库。
    3.3 打包库文件

[hadoop@hdp01 ~]$ oozie-setup.sh prepare-war
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
……..
New Oozie WAR file with added 'ExtJS library, JARs' at /u01/oozie/oozie-server/webapps/oozie.war

INFO: Oozie is ready to be started

3.4 创建库文件路径
这里直接在hdfs上创建存放库文件的路径:

 [hadoop@hdp01 ~]$ oozie-setup.sh  sharelib  create -fs hdfs://hdp01:9000
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
……
the destination path for sharelib is: /user/hadoop/share/lib/lib_20171214123559

3.5 创建oozie元数据库
默认情况下，oozie使用的是嵌入式数据库Derby存放元数据等信息。

[hadoop@hdp01 ~]$ oozie-setup.sh db create -run
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Validate DB Connection
DONE
DB schema does not exist
Check OOZIE_SYS table does not exist
DONE
Create SQL schema
DONE
Create OOZIE_SYS table
DONE
Oozie DB has been created for Oozie version '4.3.0'

The SQL commands have been written to: /tmp/ooziedb-8084517656754581469.sql

3.6 启动oozie

[hadoop@hdp01 ~]$ oozied.sh start
Setting OOZIE_HOME:          /u01/oozie
Setting OOZIE_CONFIG:        /u01/oozie/conf
Sourcing:                    /u01/oozie/conf/oozie-env.sh
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Setting OOZIE_CONFIG_FILE:   oozie-site.xml
Setting OOZIE_DATA:          /u01/oozie/data
Setting OOZIE_LOG:           /u01/oozie/logs
Setting OOZIE_LOG4J_FILE:    oozie-log4j.properties
Setting OOZIE_LOG4J_RELOAD:  10
Setting OOZIE_HTTP_HOSTNAME: hdp01
Setting OOZIE_HTTP_PORT:     11000
Setting OOZIE_ADMIN_PORT:     11001
Setting OOZIE_HTTPS_PORT:     11443
Setting OOZIE_BASE_URL:      http://hdp01:11000/oozie
Setting CATALINA_BASE:       /u01/oozie/oozie-server
Setting OOZIE_HTTPS_KEYSTORE_FILE:     /home/hadoop/.keystore
Setting OOZIE_HTTPS_KEYSTORE_PASS:     password
Setting OOZIE_INSTANCE_ID:       hdp01
Setting CATALINA_OUT:        /u01/oozie/logs/catalina.out
Setting CATALINA_PID:        /u01/oozie/oozie-server/temp/oozie.pid

Using   CATALINA_OPTS:        -Xmx1024m -Dderby.stream.error.file=/u01/oozie/logs/derby.log
Adding to CATALINA_OPTS:     -Doozie.home.dir=/u01/oozie -Doozie.config.dir=/u01/oozie/conf -Doozie.log.dir=/u01/oozie/logs -Doozie.data.dir=/u01/oozie/data -Doozie.instance.id=hdp01 -Doozie.config.file=oozie-site.xml -Doozie.log4j.file=oozie-log4j.properties -Doozie.log4j.reload=10 -Doozie.http.hostname=hdp01 -Doozie.admin.port=11001 -Doozie.http.port=11000 -Doozie.https.port=11443 -Doozie.base.url=http://hdp01:11000/oozie -Doozie.https.keystore.file=/home/hadoop/.keystore -Doozie.https.keystore.pass=password -Djava.library.path=

Setting up oozie DB
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"

Validate DB Connection
DONE
DB schema exists

The SQL commands have been written to: /tmp/ooziedb-4054281256507508551.sql

Using CATALINA_BASE:   /u01/oozie/oozie-server
Using CATALINA_HOME:   /u01/oozie/oozie-server
Using CATALINA_TMPDIR: /u01/oozie/oozie-server/temp
Using JRE_HOME:        /usr/java/jdk1.8.0_152
Using CLASSPATH:       /u01/oozie/oozie-server/bin/bootstrap.jar
Using CATALINA_PID:    /u01/oozie/oozie-server/temp/oozie.pid

3.7 验证

[hadoop@hdp01 ~]$ oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

上述命令返回NORMAL说明系统正常启动。
4、MySQL DataStore for Oozie
这里使用的是远程MySQL数据库。
4.1 创建数据库

mysql> create database oozie;
mysql> create user oozie identified by "abcABC@12";
mysql> grant all privileges on oozie.* to 'oozie'@'%' identified by "abcABC@12";
mysql> flush privileges;

4.2 编辑oozie-site.xml文件，加入以下内容：

oozie.service.JPAService.create.db.schema=false
oozie.service.JPAService.jdbc.driver=com.mysql.jdbc.Driver
oozie.service.JPAService.jdbc.url=jdbc:mysql://mydb01:3306/oozie?useSSL=false
oozie.service.JPAService.jdbc.username=oozie
oozie.service.JPAService.jdbc.password=abcABC@12
oozie.service.HadoopAccessorService.hadoop.configurations=*=/u01/hadoop/etc/hadoop
oozie.service.WorkflowAppService.system.libpath=hdfs://192.168.120.96:9000/user/hadoop/share/lib

4.3 启动oozie

[hadoop@hdp01 ~]$ oozie-start.sh 
WARN: Use of this script is deprecated; use 'oozied.sh start' instead

Setting OOZIE_HOME:          /u01/oozie
Setting OOZIE_CONFIG:        /u01/oozie/conf
Sourcing:                    /u01/oozie/conf/oozie-env.sh
setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"
Setting OOZIE_CONFIG_FILE:   oozie-site.xml
Setting OOZIE_DATA:          /u01/oozie/data
Setting OOZIE_LOG:           /u01/oozie/logs
Setting OOZIE_LOG4J_FILE:    oozie-log4j.properties
Setting OOZIE_LOG4J_RELOAD:  10
Setting OOZIE_HTTP_HOSTNAME: hdp01
Setting OOZIE_HTTP_PORT:     11000
Setting OOZIE_ADMIN_PORT:     11001
Setting OOZIE_HTTPS_PORT:     11443
Setting OOZIE_BASE_URL:      http://hdp01:11000/oozie
Setting CATALINA_BASE:       /u01/oozie/oozie-server
Setting OOZIE_HTTPS_KEYSTORE_FILE:     /home/hadoop/.keystore
Setting OOZIE_HTTPS_KEYSTORE_PASS:     password
Setting OOZIE_INSTANCE_ID:       hdp01
Setting CATALINA_OUT:        /u01/oozie/logs/catalina.out
Setting CATALINA_PID:        /u01/oozie/oozie-server/temp/oozie.pid

Using   CATALINA_OPTS:        -Xmx1024m -Dderby.stream.error.file=/u01/oozie/logs/derby.log
Adding to CATALINA_OPTS:     -Doozie.home.dir=/u01/oozie -Doozie.config.dir=/u01/oozie/conf -Doozie.log.dir=/u01/oozie/logs -Doozie.data.dir=/u01/oozie/data -Doozie.instance.id=hdp01 -Doozie.config.file=oozie-site.xml -Doozie.log4j.file=oozie-log4j.properties -Doozie.log4j.reload=10 -Doozie.http.hostname=hdp01 -Doozie.admin.port=11001 -Doozie.http.port=11000 -Doozie.https.port=11443 -Doozie.base.url=http://hdp01:11000/oozie -Doozie.https.keystore.file=/home/hadoop/.keystore -Doozie.https.keystore.pass=password -Djava.library.path=

Setting up oozie DB
  setting CATALINA_OPTS="$CATALINA_OPTS -Xmx1024m"

Validate DB Connection
DONE
DB schema exists

The SQL commands have been written to: /tmp/ooziedb-1436191594180946798.sql

Using CATALINA_BASE:   /u01/oozie/oozie-server
Using CATALINA_HOME:   /u01/oozie/oozie-server
Using CATALINA_TMPDIR: /u01/oozie/oozie-server/temp
Using JRE_HOME:        /usr/java/jdk1.8.0_152
Using CLASSPATH:       /u01/oozie/oozie-server/bin/bootstrap.jar
Using CATALINA_PID:    /u01/oozie/oozie-server/temp/oozie.pid
[hadoop@hdp01 ~]$ oozie admin -oozie http://localhost:11000/oozie -status
System mode: NORMAL

参考文献：
1、Oozie Installation and Configuration

转载于:https://blog.51cto.com/candon123/2050665

weixin_34203832
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
oozie配置mysql：表结构详解
07-19
oozie配置mysql所需表结构。Apache Oozie是用于Hadoop平台的一种工作流调度引擎。
Hadoop生态圈-Oozie实战之逻辑调度执行多个Job
weixin_34062469的博客
08-26 148
　　　　　　　　　　Hadoop生态圈-Oozie实战之逻辑调度执行多个Job 　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 作者：尹正杰 版权声明：原创作品，谢绝转载！否则将追究法律责任。         1>.启动hadoop集群 [root@yinzhengjie hadoop-2.5.0-cdh5.3.6]# sbin/start-all.sh T...
Oozie配置数据库
haoran_gao的博客
12-21 486
Oozie默认的数据库为Derby
Oozie时bin/oozied.sh start或bin/oozied.sh run出现Bootstrap进程无法启动，http://bigdatamaster:11000/oozie界面也无法打开...
weixin_30561177的博客
05-08 211
　　不多说，直接上干货！ 问题详情 　　按照官网 http://archive.cloudera.com/cdh5/cdh/5/oozie-4.1.0-cdh5.5.4/DG_QuickStart.html Start Oozie as a daemon process run: $ bin/oozied.sh start To st...
Apache Oozie.pdf
05-31
大数据相关，大数据资源调度，oozie，可创建定时调度任务
Apache Oozie Essentials(PACKT,2015)
12-29
Apache Oozie Essentials starts off with the basics right from installing and configuring Oozie from source code on your Hadoop cluster to managing your complex clusters. You will learn how to create ...
oozie:Apache Oozie的镜子
04-28
阿帕奇·奥兹（Apache Oozie）什么是Oozie Oozie是一个可扩展，可扩展且可靠的系统，用于通过Web服务定义，管理，调度和执行复杂的Hadoop工作负载。 更具体地说，这包括： 基于XML的声明性框架，用于指定作业或相关...
Apache Oozie_ The Workflow Scheduler for Hadoop
03-02
Apache Oozie_ The Workflow Scheduler for Hadoop ,主要介绍oozie的使用
Hive，oozie的元数据信息保存在mysql中
qq_43193797的博客
02-15 498
Hive的元数据信息保存在mysql中 oozie的元数据信息保存在mysql中
Hue学习笔记 -- 元数据库梳理
杨鑫newlife的专栏
08-27 1937
  词汇解释： Hue  -> Hadoop User Experience Beeswax -> 历史原因，Hive编辑器曾被称为蜂蜡（Beeswax), 这里用于Hue集成Hive数据模块 django -> python前端框架 Oozie -> 类似Airflow, Azkaban任务调度组件，此处为Hue内置任务调度组件 Desktop -> Hue操...
apache oozie安装试用
大数据和机器学习研究
08-26 2494
oozie是hadoop的工作流Scheduler，最新的版本到4.0.1了。试用了下，小坑还蛮多的。 1. 编译 我的主机上跑的是Hadoop 1.1.2，选的是oozie 3.3.0版本，下载源码，解压缩。 首先，要把源码里的javaversion从1.6改成1.7，主机是用jdk1.7。 编译oozie，命令是'./bin/mkdistro.sh -DskipTests -Dha
Apache Oozie笔记
Imflash的博客
09-06 712
Apache Oozie Apache oozie 是一个工作流调度软件 本身属于cloudera 后来贡献给了apache oozie目的根据一个定义DAG（有向无环图）执行工作流程 oozie本身的配置是一种xml格式的配置文件 oozie跟hue配合使用将会很方便 oozie特点：顺序执行 周期重复定时 可视化 追踪结果 Apache Oozie Oozie ...
【oozie】将oozie的数据库配置为mysql
shuhuai007的专栏
12-13 7198
假设已经将oozie安装好了，oozie内置的默认数据库为derby，现在改为mysql。 1. 在本机的mysql中创建oozie对应的数据库和用户名，密码 $ mysql -u root -p Enter password: ******   mysql> create database oozie; Query OK,
Elasticsearch：如何使用 Java 对索引进行 ES|QL 的查询
最新发布
Elastic 中国社区官方博客
05-05 1084
​在我之前的文章 “Elasticsearch：对 Java 对象的 ES|QL 查询”，我详细介绍了如何使用 Java 来对 ES|QL 进行查询。对于不是很熟悉 Elasticsearch 的开发者来说，那篇文章里的例子还是不能单独来进行运行。在今天的这篇文章中，我来详细地介绍如何把那个例子跑起来。更多关于 ES|QL 的动手实践，请阅读文章 “Elasticsearch：ES|QL 查询展示”。
10分钟了解数据质量管理-奥斯汀格里芬 Apache Griffin
搞数据
04-28 1299
Griffin是一个开源的大数据数据质量解决方案，由eBay开源，它支持批处理和流模式两种数据质量检测方式，是一个基于Hadoop和Spark建立的数据质量服务平台 (DQSP)。它提供了一个全面的框架来处理不同的任务，例如定义数据质量模型、执行数据质量测量、自动化数据分析和验证，以及跨多个数据系统的统一数据质量可视化。Griffin于2016年12月进入Apache孵化器，Apache软件基金会2018年12月12日正式宣布Apache Griffin毕业成为Apache顶级项目。
Debezium日常分享系列之：Debezium 2.7.0.Alpha1发布
zhengzaifeidelushang的博客
04-29 772
虽然 Oracle 建议用户避免使用基于 RAW 的列，但出于向后兼容性的原因，这些列仍广泛用于标准 Oracle 表中。但在某些业务用例中，继续使用 RAW 列而不是其他数据类型是有意义的。Debezium 2.7 引入了一个专门针对 Oracle 的新自定义转换器，称为 RawToStringConverter。此自定义转换器旨在允许您使用 STRING 架构类型快速将 RAW 列的字节数组内容转换为基于字符串的字段。
ruoyi漏洞总结
qq_59468567的博客
05-03 602
baseurl 就有了，有的是全的 url，大多数是只给个 baseurl：prod-api，这类。js 下面有个 app.xxxxxx(一些个字母数字).js，直接里面搜。如果页面访问显示不正常，可添加默认访问路径尝试是否显示正常。若依有个特点，密码可能在前台直接显示，点击并能够成功登录。监控中存在大量接口路径，可通过未授权获取更多敏感信息在。图标和登录页面及验证码处的样式识别出若依。认证失败，无法访问系统资源。进行替换实现登录系统。数据库存在未授权访问。
【翻译】Elasticsearch-索引模块
qq_49444793的博客
04-30 1035
索引块限制对指定的索引的可用的操作类型（就是指对该索引能进行什么操作）。这些块有不同的风格，可以阻止写、读或元数据操作。块可以通过动态索引设置来设置/移除，也可以通过专用API添加，这也可以确保写入块一旦成功返回用户，所有索引分片都能正确地计算该块，例如，在添加写块后，所有对索引进行中的写入会完成。
Apache Oozie 查询所有任务
06-08
import org.apache.oozie.client.OozieClient; import org.apache.oozie.client.OozieClientException; import org.apache.oozie.client.WorkflowJob; import java.util.List; public class OozieQueryAllExample ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值