Oozie
BestbpF
在校大学生
展开
-
Workflow-Hive Action
本workflow位于oozie目录下新创建的一个oozie-apps文件夹下的hive-select文件夹中。 hive-select: 1、job.properties 2、lib文件夹(其中包含了一个mysql的驱动包) 3、workflow.xml 4、hive-site.xml 5、select-user.sql 将整个oozie-apps文原创 2017-10-18 19:39:52 · 322 阅读 · 0 评论 -
Workflow-Shell Action
本workflow位于oozie目录下新创建的一个oozie-apps文件夹下的shell文件夹中。 作用为:用hive执行 hive -f user.sql 语句 shell: 1、job.properties 2、test.sh (shell脚本) 3、user.sql (hive的一个查询语句) 3、workflow.xm原创 2017-10-18 19:33:38 · 706 阅读 · 0 评论 -
Workflow-Mapreduce Action
本workflow位于oozie目录下新创建的一个oozie-apps文件夹下的mr-wc-wf文件夹中。 mr-wc-wf: 1、job.properties 2、lib文件夹(其中包含了一个wordcount程序的jar包) 3、workflow.xml 将整个oozie-apps文件夹上传到hdfs的对应用户目录下 然后运行程序 bin/oozie job -config原创 2017-10-18 18:56:19 · 251 阅读 · 0 评论 -
Workflow-Sqoop Action
本workflow位于oozie目录下新创建的一个oozie-apps文件夹下的sqoop文件夹中。 sqoop: 1、job.properties 2、lib文件夹(其中包含了一个mysql的驱动包) 2、workflow.xml 将整个oozie-apps文件夹上传到hdfs的对应用户目录下 然后运行程序 bin/oozie job -config原创 2017-10-18 19:47:40 · 283 阅读 · 0 评论 -
Coordinator-wf-mr
通过coordinator调度一个wordcount例子,定时开启运行时间并且设置调度频率 job.properties nameNode=hdfs://BPF:9000 jobTracker=BPF:8032 queueName=default oozieappsRoot=user/bpf/oozie-apps DataRoot=user/bpf/oozie/datas inputDir=原创 2017-10-18 20:02:23 · 219 阅读 · 0 评论 -
oozie初学习
oozie:工作流调度工具 Oozie是一个基于工作流引擎的服务器,可以在上面运行Hadoop的Map Reduce和Pig任务。它其实就是一个运行在Java Servlet容器(比如Tomcat)中的Javas Web应用。 对于Oozie来说,工作流就是一系列的操作(比如Hadoop的MR,以及Pig的任务),这些操作通过有向无环图的机制控制。这种控制依赖是说,一个操作的输入依原创 2017-10-17 10:09:13 · 256 阅读 · 0 评论