![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Oozie
黑猴子的家
拥有技术,便拥有自由
B站 Up主专注于技术 https://space.bilibili.com/398602910
展开
-
黑猴子的家:Oozie 调度 MapReduce 任务
使用Oozie调度MapReduce任务1、找到一个可以运行的mapreduce任务的jar包这里用官网的hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar包(可以用官方的,也可以是自己写的)2、拷贝官方模板到oozie-apps[victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -r examples/a...原创 2018-10-08 15:36:00 · 288 阅读 · 0 评论 -
黑猴子的家:Oozie 执行多个Job调度
使用Oozie执行多个Job调度1、解压官方案例模板[victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -xzvf oozie-examples.tar.gz2、编写脚本[victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ vim oozie-apps/shell/p2.sh##内容如下#!/bin/bas...原创 2018-10-08 15:07:00 · 361 阅读 · 0 评论 -
黑猴子的家:Oozie 调度 Shell 脚本
1、解压官方案例模板[victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -xzvf oozie-examples.tar.gz -C ./2、创建工作目录[victor@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir oozie-apps/3、拷贝任务模板到oozie-apps/目录[victor@h...原创 2018-10-08 14:52:00 · 304 阅读 · 0 评论 -
黑猴子的家:Oozie 的功能模块介绍
1、模块1)Workflow顺序执行流程节点,支持fork(分支多个节点),join(合并多个节点为一个)2)Coordinator定时触发workflow3)Bundle Job绑定多个Coordinator2、常用节点1)控制流节点(Control Flow Nodes)控制流节点一般都是定义在工作流开始或者结束的位置,比如start,end,kill等。以及提供工...原创 2018-10-08 13:38:00 · 205 阅读 · 0 评论 -
黑猴子的家:Hue 与 Oozie 集成
1、配置hue.ini文件位置:/opt/module/cdh/hue-3.7.0-cdh5.3.6/desktop/conf/hue.ini找到[liboozie]标签以及[oozie]标签涉及修改如下[root@node1 conf]$ vim hue.ini[liboozie]oozie_url=http://hadoop102:11000/oozieremote_depl...原创 2018-09-14 14:43:00 · 190 阅读 · 0 评论 -
黑猴子的家:Oozie CDH版本部署
oozie 的使用 最好使用cdh,各框架兼容性好的, 如果使用apache 版本, 需要逛逛apache社区,看看个框架的版本依赖,最好不要跨版本号依赖,解决兼容性问题是很头疼的问题大数据框架中,oozie 是比较复杂的, 尤其是部署的时候定时调度任务框架有Azkaban Azkaban部署起来 非常简单, 是最简单的crontab 滴滴公司就是用的crontab 轻量级oozie ...原创 2018-09-14 11:30:00 · 492 阅读 · 0 评论 -
黑猴子的家:Oozie编译源码
1、修改/etc/hosts得到ip地址,写到/etc/hosts文件里[root@node1 opt]# ping repository.cloudera.com[root@node1 opt]# vim /etc/hosts34.204.243.96 repository.cloudera.com2、安装jdk 1.8.44https://www.jianshu.com/...原创 2018-09-14 09:35:00 · 565 阅读 · 0 评论 -
黑猴子的家:Oozie简介
http://oozie.apache.org/Oozie英文翻译为:驯象人。一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。Oozie需要部署到Java Servlet容器中运行。主要用于定时调度任务,多任务可以按照执行的逻辑顺序调度。...原创 2018-09-14 09:13:00 · 229 阅读 · 0 评论 -
黑猴子的家:Oozie 可能遇到的问题总结
Mysql权限配置 授权所有主机可以使用root用户操作所有数据库和数据表 mysql> grant all on . to root@'%' identified by '123456'; mysql> flush privileges; mysql> exit; workflow.xml配置的时候不要忽略file属性 jps查看进程时,注意有没...原创 2018-10-08 16:50:00 · 182 阅读 · 1 评论 -
黑猴子的家:Oozie Coordinator 周期性调度任务
Coordinator周期性调度任务1、配置Linux时区以及时间服务器定时调度,时间一定要同步https://www.jianshu.com/p/930bb81b3eb12、UTC时间通过修改oozie-site.xml和oozie-console.js文件,显示成能看懂的时间3、配置oozie-site.xml文件<property> &...原创 2018-10-08 16:49:00 · 480 阅读 · 0 评论