Oozie
文章平均质量分 95
若兰幽竹
认认真真做事,踏踏实实做人。不以物喜,不以己悲,活出自我,成就自我。
展开
-
利用Oozie-5.2.1编译版运行MapReduce
利用Oozie-5.2.1编译版运行MapReduce一、开发WordCount程序二、Oozie相关配置三、运行测试四、小结 原理说明: Oozie充当用户和hadoop之间的中间人。用户向Oozie提供他的作业的细节,然后Oozie通过一个启动作业在Hadoop上执行它,然后返回结果。它利用工作流(workflow.xml)文件为用户提供了一种用于设置运行MapReduce时需要传入的各种参数的方法,比如输入输出路径、主程序全路径等。工作流(workflow.xml)定义为在DAG(直接无环图)中排原创 2021-03-07 21:40:42 · 321 阅读 · 0 评论 -
Oozie5.2.1源码编译及安装部署
Oozie5.2.0源码编译一、准备工作二、开始编译三、安装部署四、运行测试五、总结 说明: 官网下载最新版本:https://oozie.apache.org/ 依赖环境:CentOS7+JDK1.8+maven-3.6.3+pig-0.17.0 参考官网 一、准备工作 下载maven、安装、修改settings.xml改其仓库为阿里云 (1)安装: tar -zvxf /tools/apache-maven-3.6.3-bin.tar.gz -C /training (2) 环境变量配置:vi原创 2021-03-07 01:53:41 · 2538 阅读 · 2 评论