Oozie
文章平均质量分 79
BestbpF
在校大学生
展开
-
Workflow-Hive Action
本workflow位于oozie目录下新创建的一个oozie-apps文件夹下的hive-select文件夹中。hive-select:1、job.properties2、lib文件夹(其中包含了一个mysql的驱动包)3、workflow.xml4、hive-site.xml5、select-user.sql将整个oozie-apps文原创 2017-10-18 19:39:52 · 340 阅读 · 0 评论 -
Workflow-Shell Action
本workflow位于oozie目录下新创建的一个oozie-apps文件夹下的shell文件夹中。作用为:用hive执行 hive -f user.sql 语句shell:1、job.properties2、test.sh (shell脚本)3、user.sql (hive的一个查询语句)3、workflow.xm原创 2017-10-18 19:33:38 · 734 阅读 · 0 评论 -
Workflow-Mapreduce Action
本workflow位于oozie目录下新创建的一个oozie-apps文件夹下的mr-wc-wf文件夹中。mr-wc-wf:1、job.properties2、lib文件夹(其中包含了一个wordcount程序的jar包)3、workflow.xml将整个oozie-apps文件夹上传到hdfs的对应用户目录下然后运行程序bin/oozie job -config原创 2017-10-18 18:56:19 · 276 阅读 · 0 评论 -
Workflow-Sqoop Action
本workflow位于oozie目录下新创建的一个oozie-apps文件夹下的sqoop文件夹中。sqoop:1、job.properties2、lib文件夹(其中包含了一个mysql的驱动包)2、workflow.xml将整个oozie-apps文件夹上传到hdfs的对应用户目录下然后运行程序bin/oozie job -config原创 2017-10-18 19:47:40 · 308 阅读 · 0 评论 -
Coordinator-wf-mr
通过coordinator调度一个wordcount例子,定时开启运行时间并且设置调度频率job.propertiesnameNode=hdfs://BPF:9000jobTracker=BPF:8032queueName=defaultoozieappsRoot=user/bpf/oozie-appsDataRoot=user/bpf/oozie/datasinputDir=原创 2017-10-18 20:02:23 · 241 阅读 · 0 评论 -
oozie初学习
oozie:工作流调度工具Oozie是一个基于工作流引擎的服务器,可以在上面运行Hadoop的Map Reduce和Pig任务。它其实就是一个运行在Java Servlet容器(比如Tomcat)中的Javas Web应用。对于Oozie来说,工作流就是一系列的操作(比如Hadoop的MR,以及Pig的任务),这些操作通过有向无环图的机制控制。这种控制依赖是说,一个操作的输入依原创 2017-10-17 10:09:13 · 338 阅读 · 0 评论