Oozie编译

最新推荐文章于 2024-05-15 09:29:31 发布
最新推荐文章于 2024-05-15 09:29:31 发布
阅读量369 收藏
点赞数
分类专栏： 大数据 文章标签： oozie集成
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43461134/article/details/105858479
版权
本文档详细介绍了如何编译Oozie 4.1.0，包括所需的软件包，如JDK 1.8、Hadoop 2.7.5和Mysql 5.7，以及安装Maven和编译过程。在编译过程中，需要修改pom.xml中的Java版本，并处理Hadoop依赖冲突。此外，还提供了错误处理方案，如Javadoc编译错误的解决方法。
摘要由CSDN通过智能技术生成

Oozie编译

所需要的软件包及已安装软件

  1. jdk 1.8
  2. hadoop 2.7.5
  3. mysql 5.7
  4. apache-maven-3.6.3-bin.tar.gz
  5. ext-2.2.zip
  6. oozie-4.1.0.tar.gz
  7. doxia-core-1.0-alpha-9.2y.jar
  8. doxia-module-twiki-1.0-alpha-9.2y.jar
  9. pentaho-aggdesigner-algorithm-5.1.5-jhyde.jar

安装maven

  1. 解压
tar -zxf /opt/pkg/apache-maven-3.6.3-bin.tar.gz  -C /opt/core/

vim ~/.bash_profile
export M2_HOME=/opt/core/apache-maven-3.6.3/
export PATH=$PATH:$M2_HOME/bin

source ~/.bash_profile
mvn -version
  1. 修改setting文件，添加以下内容：
    vim /opt/core/apache-maven-3.6.3/conf/settings.xml
    <mirror>
        <id>alimaven</id>
        <mirrorOf>central</mi
最低0.47元/天 解锁文章
小娴菜
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Oozie
Imflash的博客
09-06 818
一、 Apache Oozie 1． Oozie概述 Oozie 是一个用来管理 Hadoop生态圈job的工作流调度系统。由Cloudera公司贡献给Apache。Oozie是运行于Java servlet容器上的一个java web应用。Oozie的目的是按照DAG（有向无环图）调度一系列的Map/Reduce或者Hive等任务。Oozie 工作流由hPDL（Hadoop Process De...
oozie 4.3.0 编译安装
Aidon博客
01-21 2430
Oozie的编译： 系统需求： Unix box (tested on Mac OS X and Linux) Java JDK 1.7+ Maven 3.0.1+ Hadoop 0.20.2+ Pig 0.7+   JDK commands (java, javac) must be in the command path. The Maven command (mvn) mu
Oozie 安装 （编译）
zerokissingthefire的博客
04-11 2515
根据官网要求需要的环境如下 安装maven 下载链接Maven – Download Apache Maven 上传至服务器解压 修改环境变量 source 配置文件生效 source /etc/profile 测试是否安装成功 mvn -version 为了编译速度更快可以将maven源改成阿里源 修改方法就是将 安装msyql 这里就不多赘述自行安装 下载oozie 上传服务器解压 tar -xzvf oozie-4.3.1.tar...
Oozie简介
10-18 1098
在Hadoop中执行的任务有时候需要把多个Map/Reduce作业连接到一起，这样才能够达到目的。[1]在Hadoop生态圈中，有一种相对比较新的组件叫做Oozie[2]，它让我们可以把多个Map/Reduce作业组合到一个逻辑工作单元中，从而完成更大型的任务。本文中，我们会向你介绍Oozie以及使用它的一些方式。 什么是Oozie？ Oozie是一种Java Web应用程序，
oozie编译资源doxia
03-15
标题中的“oozie编译资源doxia”指的是Apache Oozie项目在编译过程中需要的Doxia模块。Apache Oozie是一个工作流调度系统，用于管理Hadoop生态系统中的作业。它允许用户定义、调度和协调Hadoop作业，如MapReduce、...
oozie编译失败：Apache Oozie Core .................................. FAILURE
valage的博客
01-25 1265
使用版本：oozie4.3，hadoop2.7.4 可能是因为hadoop版本太新，老是报： 类型为LoggingEvent的变量 firstLogEntry [ERROR] /oozie-4.3.0/core/src/test/java/org/apache/oozie/sla/TestSLACalculatorMemory.java:[818,32] 错误: 找不到符号 这些问题，后来
Oozie的安装和使用
需要远程指导仿真实验、代码有问题的，请后台私信或者关注公众号
06-30 1318
本实验练习Oozie的安装和配置，然后运行例子进行oozie的功能测试。学会Oozie的安装和使用Ubuntu16.04、mysql-5.7.22、oozie-4.3.0、hadoop-2.7.3、jdk1.8.0_73解压编译好的oozie安装包，然后进行配置,配置主要有hadoop文件的配置和oozie文件的配置。 ♥ 知识链接 oozie简介   Oozie是一种Java Web应用程序，它运行在Java servlet容器——即Tomcat——中，并使用数据库来存储以下内容：1.工作流定义，2.当前
Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一）
fansy1990的专栏
08-07 4213
Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一） Build Oozie4.3.1 on Hadoop3.X及Hadoop生态圈Action调用（一） 1. 需求： 2. 前期预研： 3. 前期准备 4. 导入工程及编译修改 4.1 修改为Hadoop3 4.2 加入Hadoop-common的依赖 4.3 修改类 4.4 修改主pom.x...
oozie oozie
08-21
Hadoop oozie报错:Table ‘oozie.VALIDATE_CONN’ doesn’t exist 。 oozie建表sql,直接下载执行
Oozie编译参考资料
Kslient的博客
03-10 263
http://m.blog.itpub.net/30089851/viewspace-2137979/
oozie 编译与安装
weixin_30408165的博客
01-24 209
oozie:4.3.1 hadoop 2.7.6 hive编译使用2.0.0参与编译不通过,但是可以指定为1.2.0，编译可以通过,后期不使用hive的action即可(也可以使用,但是可能会出现异常情况,大部分还是可以执行正常) 0、安装maven是前提(ps:这个简单,下载,解压,配置环境变量,就可以) 1、下载 https://mirrors.tu...
oozie5.0编译
最新发布
IT深耕十余载，大道之简
05-15 281
如果你想要编译 Oozie 5.0 版本，你需要确保你的开发环境已经准备好，并且安装了所有必要的依赖项。请注意，以上步骤是一个通用的指导，并且可能会根据你的具体环境和需求有所不同。如果你遇到任何问题，建议查阅 Oozie 的官方文档或者相关的社区和论坛来获取帮助。你可以从 Apache 的官方仓库或者 GitHub 上的镜像仓库中获取。将构建好的分发包解压到你想要运行的 Hadoop 集群上，并按照 Oozie 的官方文档进行配置和部署。注意：确保你检查出的分支或标签是 Oozie 5.0 的。
Oozie编译安装完整版——Oozie4.3.1
@羲凡—只为更好的活着
01-24 1735
@羲凡——只为了更好的活着 Oozie编译完整版——Oozie4.3.1 Oozie是大数据生态圈中任务调度工具，对于一些初创公司来说，是很简单上手且节省开发成本，对于成熟的大公司来说，一般会自己开发一套调度系统。下面来编译安装Oozie4.3.1 一、编译 0.环境准备 下面是官网要求 System Requirements Unix box (tested on Mac OS X and Li...
Oozie4.1编译过程记录
zh350229319的专栏
06-01 721
oozie环境要求官网要求的编译环境如下，实际上不需要pig也可以编译成功。jdk和maven必须配置环境变量 - Unix box (tested on Mac OS X and Linux) - Java JDK 1.7+ - Maven 3.0.1+ - Hadoop 0.20.2+ - Pig 0.7+ 编译时默认hadoop版本为1.2.1，使用2.0.0+版本时可以指定编译
oozie5.1 编译安装
zphyy1988的博客
04-03 2096
# 解压缩 tar xzvf oozie-5.1.0.tar.gz # 依赖工具安装（已安装，请忽略） sudo yum install maven # 编译（非常耗时） 可在我的上传资源中下载编译结果oozie-5.1.0-distro.tar.gz https://download.csdn.net/download/zphyy1988/11095148 https://dow...
oozie 4.2.0编译问题
+e的专栏
04-14 562
编译oozie4.2.0遇到问题 版本说明： jdk: 1.7 maven: 3.0.3 hadoop: 2.7.1 hive: 2.0.0 pig: 0.13 在编译的时候遇到，报 ShimLoader.getHadoopShims().setTokenStr(ugi, delegationToken, // h
OOZIE
greahuang的专栏
02-05 1706
oozie
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值