oozie
xiao_jun_0820
要自己每天都开心,不要烦恼
忘掉压力,天天好心情
展开
-
oozie fork多mapreduce任务并行处理示例
${jobTracker} ${nameNode} /shareScripts/xxmapred-site.xml mapreduce.job.map.class com.besttone.hbase.dem原创 2014-10-22 15:46:44 · 4673 阅读 · 0 评论 -
oozie知识整理
oozie workflow 由控制流节点(control flow nodes)和行为节点(action nodes)组成控制流节点包括start ,end ,kill node,the decision , fork and join nodes当一个workflow执行到end node时,表名这个wf已经成功执行完成,如果有多个actions,其中一个到达了end node,则会k原创 2014-10-22 08:56:09 · 16147 阅读 · 2 评论 -
CDH5.0.0使用hue中的oozie编辑器创建一个wordcount的mapreduce job
${jobTracker} ${nameNode} /shareScripts/xxmapred-site.xml mapreduce.job.map.cla原创 2014-10-22 14:42:18 · 16643 阅读 · 1 评论 -
How-to: Use the ShareLib in Apache Oozie (CDH 5)
How-to: Use the ShareLib in Apache Oozie (CDH 5)时间 2014-05-12 23:44:40 Cloudera原文 http://blog.cloudera.com/blog/2014/05/how-to-use-the-sharelib-in-apache-oozie-cdh-5/The internals of Ooz转载 2015-02-04 11:50:56 · 1952 阅读 · 0 评论 -
由于在写oozie hive action时候script属性指定hql脚本时多写了一个斜杠导致的一个悲剧,以及解决方案
今天在编写 oozie hive action,编写的action如下: ${jobTracker} ${nameNode} /tmp/hupu/hive/res/hive-site.xml /tmp/hupu/hive/tmphql/原创 2015-02-09 18:00:38 · 2230 阅读 · 0 评论 -
如果修改OOZIE JOB在OOZIE UI上保存的时间
可以查看org.apache.oozie.service.PurgeService这个类,里面有默认的设置是30天,通过以下配置可以进行修改。There are properties for removing completed job / coordinators / bundles after a set number of days has expired:http://oo原创 2015-02-09 18:13:43 · 1821 阅读 · 0 评论 -
cdh5版本中的oozie hive action使用及踩坑集锦
本来的出发点是想做一个能够提交hive ql的web接口,然后我可以在接口层面做很多定制的功能,于是开始找hive restful接口相关的信息,发现Hive有个webhcat服务,可以提交hive ql然后还可以将输出写入到指定的HDFS目录上,而且还有callback功能,在执行完成后给指定URL发送消息。看了一下源代码,原理其实和Oozie差不多,也是启动了一个单mapper任务来管理JOB原创 2017-07-26 15:23:05 · 4198 阅读 · 1 评论