oozie运行hive

oozie 是用来做任务调度的。

可以在配置按照一定时间运行hql语句,这用来做定时的数据清洗很有用。

前提是你的hive和你的oozie都已经配置好了。hive配置很简单,oozie配置中的问题可以看我的上一篇博客。

分为几步,
1 hive-site.xml 及对应版本的hive 的jar包,都要上传到hdfs。你肯定在hdfs上已经建立了对应的目录。

2 配置主要是三个文件,
job.properties       
workflow.xml  //流程定义
script.q     //存放你要执行的hql语句,参数可以通过workflow.xml中的param传过来。

job.properties //中需要加上
hiveSitePath=hdfs://node1:8020/user/root/hive/hive-site.xml      root是我的oozie用户,可以改成你的hdfs目录
oozie.libpath=hdfs://node1:8020/user/root/share/lib/hive

此外,需要注意的就是 job.properties 中,jobTracker=node1:8032 根据你的hadoop的实际配置来填写,如果没有在配置中找不到这样的设置,就像这样去填写yarn的端口就可以了。

最后   oozie.use.system.libpath=true
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值