oozie安装手记

最新推荐文章于 2022-06-30 17:46:32 发布
最新推荐文章于 2022-06-30 17:46:32 发布
阅读量2.7k 收藏
点赞数
分类专栏： Hadoop 文章标签： extjs server library logging hadoop unix
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaochawan/article/details/8057198
版权
  1. 系统需求
    • Unix (在Linux和Mac OS X上做过测试)
    • Java 1.6+
    • hadoop-0.20.2-cdh3u3
    • ExtJS library (optional, to enable Oozie webconsole)
      • ExtJS 2.2
  2. Oozie  Server安装
    • 版本：oozie-2.3.2-cdh3u3
    • 创建 oozie 组和用户
      • /usr/sbin/groupadd oozie
      • /usr/sbin/useradd   oozie   -g  oozie
    • 创建 oozie 安装目录并更改组和用户到 oozie
      • mkdir -p /usr/local/oozie/
      • mkdir -p /usr/local/oozie/2.3.2-cdh3u3
      • chown -R  oozie:oozie   /usr/local/oozie
      • chown -R  oozie:oozie   /usr/local/oozie/2.3.2-cdh3u3
    • 创建oozie数据目录结构
      • mkdir -p /data0/oozie
      • chown -R  oozie:oozie   /data0/oozie
    • 切换到oozie用户
      • su - oozie
    • 解压oozie-2.3.2-cdh3u3.tar.gz到/usr/local/oozie/ 2.3.2-cdh3u3
      • tar -xzvf oozie-2.3.2-cdh3u3.tar.gz
    • 使用 oozie-setup.sh 脚本将ExtJS library加载到Oozie的war包.
      • $ bin/oozie-setup.sh -extjs /tmp/ext-2.2.zip
    • 作为daemon进程，启动oozie
      • bin/oozie-start.sh
    • 作为前台进程，启动oozie
      • bin/oozie-run.sh
    • 验证oozie
      •  logs/oozie.log
      • bin/oozie admin -oozie http://localhost:11000/oozie -status
      • 用浏览器打开oozie的web控制页面, 确认Oozie的status是NORMAL .
    • 停止oozie
      • bin/oozie-stop.sh
  2. Oozie  Client安装
    • oozie的Server安装包括client，client仅被安装在远端的机器上
  3. Oozie Share Lib安装
    • 解压oozie-sharelib-2.3.2-cdh3u3.tar.gz（在Oozie Server安装目录）
      • tar -xzvf  oozie-sharelib-2.3.2-cdh3u3.tar.gz
    • hadoop fs -put share share（必须用oozie用户执行该命令）
  4. 简单配置
    • conf/oozie-env.sh
      • 更改log目录：export OOZIE_LOG=/data0/oozie/logs
    • conf/oozie-site.xml : Oozie server configuration
    • conf/oozie-log4j.properties : Oozie logging configuration
    • conf/adminusers.txt : Oozie admin users list
  5. 运行示例
    • 解压oozie-examples.tar.gz （在Ooize Server安装目录）
      • tar -xzvf   oozie-examples.tar.g
      • 确认examples/apps下各例子的job.properties中的jobtracker地址正确
    • 部署
      • hadoop fs -put examples examples（ 必须用oozie用户执行该命令 ）
    • 运行
imworry
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Oozie 安装 （编译）
zerokissingthefire的博客
04-11 2509
根据官网要求需要的环境如下 安装maven 下载链接Maven – Download Apache Maven 上传至服务器解压 修改环境变量 source 配置文件生效 source /etc/profile 测试是否安装成功 mvn -version 为了编译速度更快可以将maven源改成阿里源 修改方法就是将 安装msyql 这里就不多赘述自行安装 下载oozie 上传服务器解压 tar -xzvf oozie-4.3.1.tar...
oozie5.1 编译安装
zphyy1988的博客
04-03 2092
# 解压缩 tar xzvf oozie-5.1.0.tar.gz # 依赖工具安装（已安装，请忽略） sudo yum install maven # 编译（非常耗时） 可在我的上传资源中下载编译结果oozie-5.1.0-distro.tar.gz https://download.csdn.net/download/zphyy1988/11095148 https://dow...
Oozie安装教程
a805814077的博客
02-17 1989
大数据任务调度工具oozie的安装
oozie 编译与安装
weixin_30408165的博客
01-24 201
oozie:4.3.1 hadoop 2.7.6 hive编译使用2.0.0参与编译不通过,但是可以指定为1.2.0，编译可以通过,后期不使用hive的action即可(也可以使用,但是可能会出现异常情况,大部分还是可以执行正常) 0、安装maven是前提(ps:这个简单,下载,解压,配置环境变量,就可以) 1、下载 https://mirrors.tu...
oozie的介绍与安装
First_____的博客
07-07 249
介绍 Oozie 是一个用来管理 Hadoop 生态圈 job 的工作流调度系统。(一种xml定制的流程控制语言);。 Oozie 的目的是按照 DAG（有向无环图）调度一系列的 Map/Reduce 或者 Hive等任务。 适用场景: 需要按顺序进行一系列任务； 需要并行处理的任务； 需要定时、周期触发的任务； 可视化作业流运行过程； 运行结果或异常的通报 架构: Oozie Client：提供命令行、java api、rest 等方式，对 Oozie 的工作流 流程的提交、启动、运行等
oozie安装详细文档
08-17
### Oozie安装详细步骤与配置解析 #### 一、Oozie简介 Oozie 是一个用于在 Hadoop 集群上管理和协调工作流（Workflows）和协调服务（Coordinator Jobs）的工作流调度系统。它支持多种类型的数据处理任务，如 ...
安装Oozie4.1.0-CDH版本
01-07
安装Oozie4.1.0-CDH版本 这个安装过程同样适用于oozie4.1.0的其他的CDH版本。 先对文件进行下载： 这里使用的是CDH版本的，免编译，看着编译的过程就够了。下载地址： ...
Oozie安装部署及任务定义说明
09-26
**Oozie安装部署** Oozie是Apache Hadoop生态系统中的一个工作流调度系统，用于管理Hadoop作业的生命周期。以下是对Oozie安装和部署的详细步骤： 1. **Maven安装** - 下载Maven的tar包，如maven-3.3.2，并解压至/...
oozie oozie
08-21
`oozie.sql`文件是Oozie安装和配置过程中的关键组件，它包含了创建Oozie元数据存储所需的所有SQL脚本。这个文件通常包含创建Oozie在运行时依赖的各种表和视图的命令，比如`VALIDATE_CONN`表，该表可能用于验证和管理...
Oozie的安装和使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 1152
本实验练习Oozie的安装和配置，然后运行例子进行oozie的功能测试。学会Oozie的安装和使用Ubuntu16.04、mysql-5.7.22、oozie-4.3.0、hadoop-2.7.3、jdk1.8.0_73解压编译好的oozie安装包，然后进行配置,配置主要有hadoop文件的配置和oozie文件的配置。 ♥ 知识链接 oozie简介   Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：1.工作流定义，2.当前
Oozie安装配置完整教程
HoppingMad的博客
12-19 2588
文章目录前言一、Oozie的简介二、Oozie的下载三、Oozie的安装1.添加Hadoop权限2.配置驱动包3.启动准备a. 创建备用war包b. 将sharelib上传到HDFSc.创建Oozie数据库d.配置oozie-site.xml四、Oozie启动测试总结 前言 Oozie的整个安装配置流程是较为繁琐复杂的（相比其他Hadoop框架），但这篇教程会每步写的很详细，大家只要跟着我的教程一步一步走，都能安装配置成功。我这里配置的版本是CDH5.3.6下的Oozie4.0.0版本，大家如果用来学习可
oozie 4.3.0 编译安装
Aidon博客
01-21 2407
Oozie的编译： 系统需求： Unix box (tested on Mac OS X and Linux) Java JDK 1.7+ Maven 3.0.1+ Hadoop 0.20.2+ Pig 0.7+   JDK commands (java, javac) must be in the command path. The Maven command (mvn) mu
Oozie编译安装完整版——Oozie4.3.1
@羲凡—只为更好的活着
01-24 1728
@羲凡——只为了更好的活着 Oozie编译完整版——Oozie4.3.1 Oozie是大数据生态圈中任务调度工具，对于一些初创公司来说，是很简单上手且节省开发成本，对于成熟的大公司来说，一般会自己开发一套调度系统。下面来编译安装Oozie4.3.1 一、编译 0.环境准备 下面是官网要求 System Requirements Unix box (tested on Mac OS X and Li...
Oozie编译-安装-配置
Shannon_ying的博客
03-31 3834
Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容： 1. 工作流定义 2. 当前运行的工作流实例，包括实例的状态和变量Oozie工作流是放置在控制依赖DAG（有向无环图 Direct Acyclic Graph）中的一组动作（例如，Hadoop的Map/Reduce作业、Pig作业等），其中指定了动作执行的顺序。我
Oozie5.2.1源码编译及安装部署
若兰幽竹
03-07 2488
Oozie5.2.0源码编译一、准备工作二、开始编译三、安装部署四、运行测试五、总结 说明： 官网下载最新版本:https://oozie.apache.org/ 依赖环境：CentOS7+JDK1.8+maven-3.6.3+pig-0.17.0 参考官网 一、准备工作 下载maven、安装、修改settings.xml改其仓库为阿里云 （1）安装： tar -zvxf /tools/apache-maven-3.6.3-bin.tar.gz -C /training （2） 环境变量配置：vi
Oozie安装
12-15 3040
安装基础环境 Maven-3.9.0 Hadoop-2.7.1 Server安装 解压oozie-4.3.0.tar.gz 将oozie的安装包解压到/usr/local目录下： /usr/local/oozie-4.3.0 修改pom.xml <targetJavaVersion>1.8</targetJavaVersion> <...
Mac安装hue
Cribug8080的博客
07-18 1615
安装官网的建议安装步骤，当到make apps一步时出现'mysql.c:44:10: fatal error: 'my_config.h' file not found'，是版本问题，文件MySQL-python 1.2.5的版本对应见这里。我把mysql8卸载了，安装5.5版本。 所以我找Mac版本的mysql5.5可是官网都没有，可以直接用brew安装， brew search mys...
安装Oozie的一路坎坷之九九八十一
酒鬼の博客
07-07 664
这里写目录标题前提梗概安装Oozie前的申明使用Docker构建Oozie1、编译发行包2、 使用docker构建Oozie运行Oozie运行案例测试， oozie安装包里自带的例子：map-reduce. 前提梗概 适用于Hadoop的Apache Oozie Workflow Scheduler 总览 Oozie是一个工作流调度程序系统，用于管理Apache Hadoop作业。 Oozie Workflow作业是操作的有向无环图（DAG）。 Oozie Coordinator作业是由时间（频率）和数据可
Apache Oozie入门与实战指南
在第一章中，作者介绍了如何在Hortonworks分布中配置Oozie，包括通过tarball方式安装Oozie，以及创建一个用于测试的虚拟机环境。这部分着重于搭建Oozie的开发环境，讲解了构建脚本的概览，并提到了从Codehaus Maven...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值