Oozie
kxj19980524
这个作者很懒,什么都没留下…
展开
-
Oozie安装步骤-01
Oozie英文翻译 驯象人Oozie简介 一个基于工作流引擎的开源框架,由Cloudera公司贡献给Apache,提供对Hadoop Mapreduce、Pig Jobs的任务调度与协调。 Oozie需要部署到Java Servlet容器中运行。Oozie在集群中扮演的角色 定时调度任务,多任务可以...原创 2019-04-26 19:36:30 · 656 阅读 · 0 评论 -
Oozie简单案例执行一个脚本-02
这个是Oozie自带的简单案例,解压它到当前目录这个是oozie执行shell脚本调度任务的属性信息和工作流.在oozie执行任务调度的时候必须把这两个东西上传到hdfs上才可以执行.先创建个文件夹,把shell复制到这里来#nameNode如果配置了高可用的话就直接hdfs://高可用的名称 不用加端口号了nameNode=hdfs://hadoop-sen...原创 2019-04-26 21:02:24 · 496 阅读 · 0 评论 -
Oozie简单案例执行多个脚本-03
Oozie简单案例执行一个脚本-02https://blog.csdn.net/kxj19980524/article/details/89576687在一个脚本的基础上修改配置文件,添加一个脚本p2.sh编写一个新的脚本p2.sh 让它输出一个日期为了验证oozie是工作流的形式,把p1.sh也改成输出时间,看时间上的差异修改workflow,添加一个动作....原创 2019-04-27 09:56:18 · 281 阅读 · 0 评论 -
Oozie调度mapreduce任务的使用方式-04
先编写一个可以运行的MR任务的.jar包,我这里直接拷贝hadoop现成的jar包.复制一个执行mapreduce的官方模板到oozie根目录下.先执行一下这个mapreduce程序,因为oozie在配置mapreduce的时候需要一些输入输出参数类型,因为这个jar包不是自己写的不知道它是什么类型,执行完后可以在历史任务里查看到它的一些详细信息,里面有那些需要的参数./opt...原创 2019-04-27 13:27:00 · 381 阅读 · 0 评论 -
Oozie调度定时任务的使用方式-05
在执行下面操作之前,首先得配置好oozie的时区,因为它默认时区和咱们时间相差8小时https://blog.csdn.net/kxj19980524/article/details/89556348 这里面有配置时区的.拷贝定时器的官方模板到oozie根目录下nameNode=hdfs://hadoop-senior01.buba.com:8020jobTracker=...原创 2019-04-27 14:53:13 · 875 阅读 · 0 评论